Одновыборочный z-тест для пропорций Опции

[passant]

Уважаемые коллеги.
Что-то я зашел в тупик, прошу помощи.

Задача классическая. Требуется провести одновыборочный z-тест для пропорций. Казалось бы все понятно. В любом учебнике, и даже информации на cran.r-project.org находим:

Z=(p_выб-p_теор)/SQRT(p_теор*(1-p_теор)/N)

где p_выб - доля положительных результатов в выбоке,
p_теор - теоретически ожидаемая доля положительных результатов
N - объем выборки.

И все бы хорошо. Но вот вопрос - а каково буде значение этого критерия при p_теор=0 ?
То есть, мы не ожидаем появления положительных событий вообще, а они происходят?

Попытка посчитать "на бумажке" говорит о том, что знаменатель превращается в ноль и на этом все должно-бы закончиться.
Причем нигде, никогда никаких специально оговоренных случаев или исключений для этого теста я не встречал. Готов допустить, что это ограничение считается "очевидным" и поэтому даже не упоминается. Но тогда надо допустить, что разработчики пакетов и функций реализующих этот тест будут выполнять такую проверку внутри реализаций. Если это действительно фундаментальное исключение.

Ан нет. Пробую посчитать результат на Python с помощью функции proportions_ztest из пакета statsmodels.stats.proportion.
Проверяю, что-же данная функция делает: "simple normal test for proportions. It should be the same as running the mean z-test on the data encoded 1 for event and 0 for no event so that the sum corresponds to the count.mIn the one and two sample cases with two-sided alternative, this test produces the same p-value as proportions_chisquare, since the chisquare is the distribution of the square of a standard normal distribution." И никаких ограничений.
И тут неожиданность. При p_теор=0 и любом положительном значении p_выб результат спокойно высчитывается. Например - при p_выб=0.2 , N=10 имеем Z=1.5811388300841895 p_value=0.11384629800665805 и никаких сообщений об исключительной ситуации (и да, это двусторонний критерий, но суть от этого не меняется).

Не могу понять, что происходит, но где-то наталкиваюсь на сообщение , что proportions_ztest из пакета statsmodels.stats.proportion реализовано по подобию функции prop.test из R. Сам я снес RStudio лет пять назад, проверить не могу, но лезу читать описание. И вдруг, с глубоким удивлением вижу там (ну, например: http://www.sthda.com/english/wiki/one-prop...on-z-test-in-r) формулу, по которой происходит расчет:

Z=(p_выб-p_теор)/SQRT(p_выб*(1-p_выб)/N)

Как говориться, "почувствуйте разницу"! В первую очередь, с тем, что написано на cran.r-project.org (см. ссылку в первом абзаце). В знаменателе теперь не p_теор, а p_выб. Делаю пересчет вручную, и результат, как и ожидалось, совпадает с тем, что выдает proportions_ztest (и скорее всего и prop.test).

И вот теперь вопрос к знатокам. А какая-же формула корректна? Возможно-ли такая замена оценки дисперсии в знаменателе, если в результате мы получаем разные - пусть даже в одной точке - результаты? И можно-ли считать результаты, которые получены по формулам, реализованным в R и statsmodels для p_теор=0 корректными и использовать их для решения исходной задачи?

Допускаю, что чего-то где-то недоучитываю. Или просто запутался. Или ответ на поверхности, но я его просто не замечаю. Буду благодарен за ваше видение ситуации.

[passant]

Вторая.
Патамушта, если исследователь "лет 5 назад снес RStudio", ему ничто не мешает убедиться в том же Excel'е, что при p0=0 расчет все равно идет по второй формуле.

Да, я тоже первое, что сделал - проверил на EXCEL, функция Z.ТЕСТ(...0). Сначала даже вставил абзац в свой вопрос, но потом, что-бы не делать его слишком длинным убрал. Но вообще-то это доказательством считать нельзя. Тем более, что там считается еще более специфично, чем в Python и R.

1). По поводу формул. Правильная первая. В авторитетной книге Флейса на стр. 26-27 даётся эта же формула, правда с поправкой на непрерывность в числителе, использование которой оговаривается: https://disk.yandex.ru/i/lyP2bDEO1R26bA
Почему программы меняют её не знаю, может авторы считают, что это мы напутали. Но есть и другое соображение.

Спасибо, обязательно гляну.

2). Возможно задача с теоретической вероятностью 0 или 1 не является статистической, а может и вообще вероятностной.

Вообще-то задачу мне задали маркетологи, но я приведу "медицинский" пример (в меру моих крайне скудных представлений в этой области). Есть неизлечимая болезнь. Есть длинная выборка больных, ни один из которых не выжил. Я понимаю, что считать это генеральной совокупностью нельзя, но тем не менее. И есть препарат, после употребления которого появилась некоторая доля больных, которые выжили. Но выборка существенно (во много десятков раз) короче первой. И вот вопрос можно-ли считать, что препарат действенный? Особенно, если доля выживших очень мала?

Появилась идея. Если рассматривать задачу с точки зрения двух независимых выборок, которая сводитьс к анализу равенства разности двух доль нулю, и использовать соответствующий тест, то там для оценки дисперсии этой разности двух доль используется SQRT(p₁*(1-p₁)/N₁+p₂*(1-p₂)/N₂ ). И тогда, если p₂=0, то как бы мы возвращаемся к оценке, которая применяется в пакетах. Но вот корректна-ли такая подмена?

Сообщение отредактировал passant - 19.02.2023 - 00:20