Одновыборочный z-тест для пропорций Опции

[passant]

Уважаемые коллеги.
Что-то я зашел в тупик, прошу помощи.

Задача классическая. Требуется провести одновыборочный z-тест для пропорций. Казалось бы все понятно. В любом учебнике, и даже информации на cran.r-project.org находим:

Z=(p_выб-p_теор)/SQRT(p_теор*(1-p_теор)/N)

где p_выб - доля положительных результатов в выбоке,
p_теор - теоретически ожидаемая доля положительных результатов
N - объем выборки.

И все бы хорошо. Но вот вопрос - а каково буде значение этого критерия при p_теор=0 ?
То есть, мы не ожидаем появления положительных событий вообще, а они происходят?

Попытка посчитать "на бумажке" говорит о том, что знаменатель превращается в ноль и на этом все должно-бы закончиться.
Причем нигде, никогда никаких специально оговоренных случаев или исключений для этого теста я не встречал. Готов допустить, что это ограничение считается "очевидным" и поэтому даже не упоминается. Но тогда надо допустить, что разработчики пакетов и функций реализующих этот тест будут выполнять такую проверку внутри реализаций. Если это действительно фундаментальное исключение.

Ан нет. Пробую посчитать результат на Python с помощью функции proportions_ztest из пакета statsmodels.stats.proportion.
Проверяю, что-же данная функция делает: "simple normal test for proportions. It should be the same as running the mean z-test on the data encoded 1 for event and 0 for no event so that the sum corresponds to the count.mIn the one and two sample cases with two-sided alternative, this test produces the same p-value as proportions_chisquare, since the chisquare is the distribution of the square of a standard normal distribution." И никаких ограничений.
И тут неожиданность. При p_теор=0 и любом положительном значении p_выб результат спокойно высчитывается. Например - при p_выб=0.2 , N=10 имеем Z=1.5811388300841895 p_value=0.11384629800665805 и никаких сообщений об исключительной ситуации (и да, это двусторонний критерий, но суть от этого не меняется).

Не могу понять, что происходит, но где-то наталкиваюсь на сообщение , что proportions_ztest из пакета statsmodels.stats.proportion реализовано по подобию функции prop.test из R. Сам я снес RStudio лет пять назад, проверить не могу, но лезу читать описание. И вдруг, с глубоким удивлением вижу там (ну, например: http://www.sthda.com/english/wiki/one-prop...on-z-test-in-r) формулу, по которой происходит расчет:

Z=(p_выб-p_теор)/SQRT(p_выб*(1-p_выб)/N)

Как говориться, "почувствуйте разницу"! В первую очередь, с тем, что написано на cran.r-project.org (см. ссылку в первом абзаце). В знаменателе теперь не p_теор, а p_выб. Делаю пересчет вручную, и результат, как и ожидалось, совпадает с тем, что выдает proportions_ztest (и скорее всего и prop.test).

И вот теперь вопрос к знатокам. А какая-же формула корректна? Возможно-ли такая замена оценки дисперсии в знаменателе, если в результате мы получаем разные - пусть даже в одной точке - результаты? И можно-ли считать результаты, которые получены по формулам, реализованным в R и statsmodels для p_теор=0 корректными и использовать их для решения исходной задачи?

Допускаю, что чего-то где-то недоучитываю. Или просто запутался. Или ответ на поверхности, но я его просто не замечаю. Буду благодарен за ваше видение ситуации.

[100$]

И вот теперь вопрос к знатокам. А какая-же формула корректна?

Вторая.
Патамушта, если исследователь "лет 5 назад снес RStudio", ему ничто не мешает убедиться в том же Excel'е, что при p0=0 расчет все равно идет по второй формуле.

[Игорь]

Покажите исходные данные и ссылку на источник.

Сообщение отредактировал Игорь - 18.02.2023 - 18:31

[nokh]

А какая-же формула корректна? Возможно-ли такая замена оценки дисперсии в знаменателе, если в результате мы получаем разные - пусть даже в одной точке - результаты? И можно-ли считать результаты, которые получены по формулам, реализованным в R и statsmodels для p_теор=0 корректными и использовать их для решения исходной задачи?

1). По поводу формул. Правильная первая. В авторитетной книге Флейса на стр. 26-27 даётся эта же формула, правда с поправкой на непрерывность в числителе, использование которой оговаривается: https://disk.yandex.ru/i/lyP2bDEO1R26bA
Почему программы меняют её не знаю, может авторы считают, что это мы напутали. Но есть и другое соображение.

2). Возможно задача с теоретической вероятностью 0 или 1 не является статистической, а может и вообще вероятностной. Такое рассуждение. Мне тут ютуб накидал роликов про загадочные заборы в Австралии, и кенгуру это первое что пришло сейчас в голову, простите)) Мы знаем, что вероятность рождения человека у животного равна нулю. Мы начинаем проверять кенгуровые сумки и в 1234-ой находим-таки живой человеческий эмбриончик. Вопрос о статистической значимости этого события весьма бессмысленен. Какова вероятность, что это произошло случайно? - так что-ли? Т.е. здесь понятно, что либо это розыгрыш такой, либо мы ошибались: бывает нет-нет да и родится так маленький китаец. Ну или подкидываем обычный игральный кубик, а там 7. Понятно, что либо фокус, либо чудо. Т.е. обнаружение события, для которого теоретическая вероятность нулевая, безо всякой вероятности отвергает этот ноль и требует отдельного разбирательства: откуда произошло засорение выборки или ещё что-то, раз такое чудо случилось.

[passant]

Вторая.
Патамушта, если исследователь "лет 5 назад снес RStudio", ему ничто не мешает убедиться в том же Excel'е, что при p0=0 расчет все равно идет по второй формуле.

Да, я тоже первое, что сделал - проверил на EXCEL, функция Z.ТЕСТ(...0). Сначала даже вставил абзац в свой вопрос, но потом, что-бы не делать его слишком длинным убрал. Но вообще-то это доказательством считать нельзя. Тем более, что там считается еще более специфично, чем в Python и R.

1). По поводу формул. Правильная первая. В авторитетной книге Флейса на стр. 26-27 даётся эта же формула, правда с поправкой на непрерывность в числителе, использование которой оговаривается: https://disk.yandex.ru/i/lyP2bDEO1R26bA
Почему программы меняют её не знаю, может авторы считают, что это мы напутали. Но есть и другое соображение.

Спасибо, обязательно гляну.

2). Возможно задача с теоретической вероятностью 0 или 1 не является статистической, а может и вообще вероятностной.

Вообще-то задачу мне задали маркетологи, но я приведу "медицинский" пример (в меру моих крайне скудных представлений в этой области). Есть неизлечимая болезнь. Есть длинная выборка больных, ни один из которых не выжил. Я понимаю, что считать это генеральной совокупностью нельзя, но тем не менее. И есть препарат, после употребления которого появилась некоторая доля больных, которые выжили. Но выборка существенно (во много десятков раз) короче первой. И вот вопрос можно-ли считать, что препарат действенный? Особенно, если доля выживших очень мала?

Появилась идея. Если рассматривать задачу с точки зрения двух независимых выборок, которая сводитьс к анализу равенства разности двух доль нулю, и использовать соответствующий тест, то там для оценки дисперсии этой разности двух доль используется SQRT(p₁*(1-p₁)/N₁+p₂*(1-p₂)/N₂ ). И тогда, если p₂=0, то как бы мы возвращаемся к оценке, которая применяется в пакетах. Но вот корректна-ли такая подмена?

Сообщение отредактировал passant - 19.02.2023 - 00:20

[ИНО]

Не подскажу насчет корректности и эквивалентности формул (когда вижу сложную формулу в одну строку, и назначаю считать скобки, в итоге почти всегда впадаю в ступор), но двухвыборочный Z-критерий давно существует, изобретать его заново не нужно. И озвученная задача таки явно двухвыборочная, не имеющая ничего общего с одновыборочной задачей из стартового поста.

Сообщение отредактировал ИНО - 19.02.2023 - 00:50

[DoctorStat]

Что-то я зашел в тупик, прошу помощи.

Я не знаток, но вставлю свои 5 копеек.
1) Какая формула правильная. Правильная та, которую вы вывели или проверили самостоятельно из теоретических соображений.
2) на вопрос о корректности постановки задачи при р_теор = 0 лучше всего ответил nokh: если кенгуру родил(а) человека, значит это не кенгуру.

[passant]

, но двухвыборочный Z-критерий давно существует, изобретать его заново не нужно. И озвученная задача таки явно двухвыборочная, не имеющая ничего общего с одновыборочной задачей из стартового поста.

Так то оно так, но вот для двуxвыборочного критерия есть условие n1*p1>10, n1*(1-p1)>10, n2*p2>10, n2*(1-p2)>10. И тут дело даже не в том, что за число в этих формулах справа стоит. А дело в том, что для одной из выборок одно из этих условий заведомо никогда не выполниться. И как тогда применять двухвыборочный критерий?

2) на вопрос о корректности постановки задачи при р_теор = 0 лучше всего ответил nokh: если кенгуру родил(а) человека, значит это не кенгуру.

А если при применении препарата некоторые пациенты стали выздоравливать? Отбрасываем с негодованием, ибо "не кенгуру"? Или пытаемся выяснить, это случайность или все-же на препарат стоит обратить внимание?

Сообщение отредактировал passant - 19.02.2023 - 20:41

[DoctorStat]

А если при применении препарата некоторые пациенты стали выздоравливать? Отбрасываем с негодованием, ибо "не кенгуру"? Или пытаемся выяснить, это случайность или все-же на препарат стоит обратить внимание?

Тогда я не понял предыдущего вопроса. Пациентам дают лекарство с доказанной эффективностью. В аптеках продают препараты, которые лечат, т.е. с p_теор > 0. Причем не просто больше 0, а больше некоторого минимального значения. Скажем, в клинических исследованиях на выборке из 1000 человек, лекарство показало эффективность для 100 человек, т.е. p_теор = 10% . В противном случае (p_теор < 10%) надзорные органы не выдадут лицензию препарату.

Сообщение отредактировал DoctorStat - 19.02.2023 - 21:47

[ИНО]

Так то оно так, но вот для двуxвыборочного критерия есть условие n1*p1>10, n1*(1-p1)>10, n2*p2>10, n2*(1-p2)>10. И тут дело даже не в том, что за число в этих формулах справа стоит. А дело в том, что для одной из выборок одно из этих условий заведомо никогда не выполниться. И как тогда применять двухвыборочный критерий?

Вы полагаете, что использование самопальной формулы сходимость улучшит? Не удовлетворяются условия асимптотических критериев - используйте точные (в данном случае - Барнарда).

А если при применении препарата некоторые пациенты стали выздоравливать? Отбрасываем с негодованием, ибо "не кенгуру"? Или пытаемся выяснить, это случайность или все-же на препарат стоит обратить внимание?

По ходу, мораль примера с кенурями до Вас не дошла. Возьмем аналогию попроще. Представим мешок с бесконечным количеством умерщих пациентов исключительно черных шариков (это мы знаем априори исходя из формулировки в стартовом посте). Какова вероятность, что после 10000000000005000000000000 попыток мы вытянем из него хоть один белый? 0! Следовательно, если из второго мешка с конечным количеством шариков был вынут хотя бы один белый, значит истинное p любого критерия согласия равно строго 0, на формулы и объемы выборок можно даже не смотреть. С терском провалившаяся нулевая гипотеза: шарики во второй мешок отсыпали из первого. Имеет ли отношение данная задача к озвученной позже задаче с пациентами? Нет!

Сообщение отредактировал ИНО - 19.02.2023 - 23:54

[passant]

Тогда я не понял предыдущего вопроса. Пациентам дают лекарство с доказанной эффективностью. В аптеках продают препараты, которые лечат, т.е. с p_теор > 0. Причем не просто больше 0, а больше некоторого минимального значения. Скажем, в клинических исследованиях на выборке из 1000 человек, лекарство показало эффективность для 100 человек, т.е. p_теор = 10% . В противном случае (p_теор < 10%) надзорные органы не выдадут лицензию препарату.

Вообще-то я с самого начала (вернее, тогда, когда попросили привести какую-нибудь жизненную интерпретацию теоретического вопроса) написал, что медицинский пример - не более чем некоторая аналогия задачи реальной. Поэтому приплетать к чисто статистической задаче правила выдачи лицензий и прочие рассуждения о клинических исследованиях - неуместно.

Сообщение отредактировал passant - 20.02.2023 - 00:37

[Игорь]

Задача классическая. Требуется провести одновыборочный z-тест для пропорций.
...
И вот теперь вопрос к знатокам. А какая-же формула корректна?
...
Буду благодарен за ваше видение ситуации.

Видение в предчувствии обещанной благодарности такое. Корректные формулы в книге Флейса (выше уважаемый коллега показал ссылку на англоязычный вариант; доступен русский перевод - у меня был, но подарил нашей научной библиотеке). Задача действительно классическая - сравнение параметра положения (среднее для количественной выборки, доля для дихотомической, как в представленном случае) с известным значением - и настолько простая, что включение ее в статистический пакет не стоит некоторого усложнения интерфейса. Сгодятся и электронные таблицы. Единственная сложность, замеченная при анализе качественных данных - правильно ввести их в соотвествии с требованиями автора программы. А вообще, для рассматриваемой проблемы нет смысла использовать асимптотику (Z-критерий) - в книге есть точное распределение, расчет которого того же уровня сложности.

Сообщение отредактировал Игорь - 20.02.2023 - 09:11

[passant]

Видение в предчувствии обещанной благодарности такое.

Предчувствие вас не обмануло. Я действительно благодарен вам и всем кто конструктивно высказался по теме.

Корректные формулы в книге Флейса (выше уважаемый коллега показал ссылку на англоязычный вариант;

Это не проблема. Как раз сегодня хочу просмотреть этот источник.

включение ее в статистический пакет не стоит некоторого усложнения интерфейса.

Автору пакета, конечно, виднее.

Задача действительно классическая - сравнение параметра положения (среднее для количественной выборки, доля для дихотомической, как в представленном случае) с известным значением

В том то и дело. Есть z-тест. Существует для двух ситуаций, одновыборочный и двухвыборочный. Есть конкретная ситуация, описанная выше. Какой критерий подходит? Одновыборочный? Но по формуле этого критерия получается, что должна быть исключительная ситуация. (Кстати, для количественной выборки и теста Стьюдента на совпадение выборочной средней и мат.ожидания генеральной совокупности все работает вне зависимости от того, какое значение - нулевое или нет - имеет мат.ожидание. Вот и разница). Если попробовать использовать двухвыборочный z-тест, то натыкаемся на предусловие (к размерам выборки), которое делает и этот вариант вроде как некорректным.

Сложность видна даже в том, что на этом, самом продвинутом в интернет форуме по проверке гипотез, с очень ценимыми мною комментаторами, мнения разделились:
100$: : "в том же Excel'е, что при p0=0 расчет все равно идет по второй формуле."
nokh : "По поводу формул. Правильная первая".
ИНО : "И озвученная задача таки явно двухвыборочная".
Игорь: для рассматриваемой проблемы нет смысла использовать асимптотику (Z-критерий)

Игорь: "Единственная сложность, замеченная при анализе качественных данных - правильно ввести их в соотвествии с требованиями автора программы" - готов их выслушать и применить. Только вот какую?

Вижу, что попытка объясниться на примере из области медицины привела к апелляции к надзорным органам в качестве статистического аргумента. Что-бы снова не споткнуться об этом - предлагаю другую аналогию. Наблюдается состояние объекта. Путем последовательного контроля наличия alarm-сигналов, например - получения рекламаций от клиентов (разных, между собой никак не связанных). На протяжении - как тут написали -"10000000000005000000000000 попыток", т.е. такого количества отзывов, они все были положительными, т.е. "объект работает без замечаний". Потом получается два сигнала среди следующих 10 отзывов. Это случайность или при изготовлении объектов пошел брак? А если 2 на 100000 следующих отзывов? А если 2 на следующие 10000000000005000000000000 попыток"? Стоят они некоторого усложнения интерфейса затрат на ремонтно-регламентные работы? Или это статистически незначимые отклонения? В какой момент - при какой доле в выборке - эти данные становятся значимыми?

Вы полагаете, что использование самопальной формулы сходимость улучшит? Не удовлетворяются условия асимптотических критериев - используйте точные (в данном случае - Барнарда).

Вообще-то я нигде не пытаюсь самостоятельно вывести какую-бы то нибыло "самопальную" формулу, (хотя и это мне тут рекомендовали: " Правильная та, которую вы вывели или проверили самостоятельно из теоретических соображений."). Наоборот, а хочу понять, какую классическую формулу тут корректно применять. Но признаюсь, про асимптотику Барнарда - не в курсе. Ссылочкой не поделитесь? ( Уже ознакомился).

Сообщение отредактировал passant - 20.02.2023 - 14:17

[comisora]

2 passant

Добрый день. Мой ответ не касается Вашего исходного вопроса, но при прочтении Ваших пояснений мне вспомнились тесты the Bartels rank test of randomness и библиотека для Change point analysis. Может на Вашу задачу следует посмотреть с этой стороны?

В какой момент - при какой доле в выборке - эти данные становятся значимыми?

Есть ситуация, где нужна 100% уверенность, поэтому нужно предпринимать все возможные меры по профилактике и решению образовавшихся проблем. В таком случае вопрос о статистической значимости смысла не имеет. Если есть возможность построить зависимость условных расходов от доли условного сигнала (хотя бы на уровне допущения), то нужно найти ту величину условных расходов и соответствующую долю условного сигнала, которая будет Вашим ориентиром. Расходы и сигнал - любые метрики успешности процесса, хоть количество расходов на каждый неправильно заполненный бланк в отчёте маркетолога формата А4.

На мой взгляд, готовность платить или принимать решение (Cost-effectiveness thresholds) зависит исключительно от Вашей задачи.

[passant]

Добрый день. Мой ответ не касается Вашего исходного вопроса, но при прочтении Ваших пояснений мне вспомнились тесты the Bartels rank test of randomness и библиотека для Change point analysis. Может на Вашу задачу следует посмотреть с этой стороны?

Спасибо за присоединение к обсуждению. Да Change point detection - это то, что меня больше всего и интересует. И, наверное, в связи с этим ко мне и обратились за советом. Я потер руки, в уверенности -"да это же в любом учебнике написано". Оказалось не все так тривиально.
(Кстати - отдельное спасибо за mcp - ранее не встречал, надо будет посмотреть).

Есть ситуация, где нужна 100% уверенность, поэтому нужно предпринимать все возможные меры по профилактике и решению образовавшихся проблем. В таком случае вопрос о статистической значимости смысла не имеет. Если есть возможность построить зависимость условных расходов от доли условного сигнала (хотя бы на уровне допущения), то нужно найти ту величину условных расходов и соответствующую долю условного сигнала, которая будет Вашим ориентиром. Расходы и сигнал - любые метрики успешности процесса, хоть количество расходов на каждый неправильно заполненный бланк в отчёте маркетолога формата А4.

На мой взгляд, готовность платить или принимать решение (Cost-effectiveness thresholds) зависит исключительно от Вашей задачи.

На мой взгляд, необходимо сначала понять прикладную сторону задачи. Потом перевести ее на формальный язык и решить ее чисто формальными, статистически-математическими, ML-методами, (если такой формализации не сделать - то на наше решение будут влиять в том числе и правила выдачи лицензий, что не есть с моей точки зрение правильно).А потом перевести полученное формальное решение на язык конкретной предметной области и понятный прикладному специалисту, включая и те самые "лицензии", и то, о чем вы пишете, и стоимость ошибки первого и второго рода, и другие особенности связанные с природой задачи и в таком виде уже вернуть решение пользователю. Мне казалась, что такая декомпозиция процесса решения естественна и общепринята, поэтому и описал задачу именно на уровне формального этапа. А интерпретацию попытался оставить в стороне.

Сообщение отредактировал passant - 20.02.2023 - 16:10