Одновыборочный z-тест для пропорций Опции

[passant]

Уважаемые коллеги.
Что-то я зашел в тупик, прошу помощи.

Задача классическая. Требуется провести одновыборочный z-тест для пропорций. Казалось бы все понятно. В любом учебнике, и даже информации на cran.r-project.org находим:

Z=(p_выб-p_теор)/SQRT(p_теор*(1-p_теор)/N)

где p_выб - доля положительных результатов в выбоке,
p_теор - теоретически ожидаемая доля положительных результатов
N - объем выборки.

И все бы хорошо. Но вот вопрос - а каково буде значение этого критерия при p_теор=0 ?
То есть, мы не ожидаем появления положительных событий вообще, а они происходят?

Попытка посчитать "на бумажке" говорит о том, что знаменатель превращается в ноль и на этом все должно-бы закончиться.
Причем нигде, никогда никаких специально оговоренных случаев или исключений для этого теста я не встречал. Готов допустить, что это ограничение считается "очевидным" и поэтому даже не упоминается. Но тогда надо допустить, что разработчики пакетов и функций реализующих этот тест будут выполнять такую проверку внутри реализаций. Если это действительно фундаментальное исключение.

Ан нет. Пробую посчитать результат на Python с помощью функции proportions_ztest из пакета statsmodels.stats.proportion.
Проверяю, что-же данная функция делает: "simple normal test for proportions. It should be the same as running the mean z-test on the data encoded 1 for event and 0 for no event so that the sum corresponds to the count.mIn the one and two sample cases with two-sided alternative, this test produces the same p-value as proportions_chisquare, since the chisquare is the distribution of the square of a standard normal distribution." И никаких ограничений.
И тут неожиданность. При p_теор=0 и любом положительном значении p_выб результат спокойно высчитывается. Например - при p_выб=0.2 , N=10 имеем Z=1.5811388300841895 p_value=0.11384629800665805 и никаких сообщений об исключительной ситуации (и да, это двусторонний критерий, но суть от этого не меняется).

Не могу понять, что происходит, но где-то наталкиваюсь на сообщение , что proportions_ztest из пакета statsmodels.stats.proportion реализовано по подобию функции prop.test из R. Сам я снес RStudio лет пять назад, проверить не могу, но лезу читать описание. И вдруг, с глубоким удивлением вижу там (ну, например: http://www.sthda.com/english/wiki/one-prop...on-z-test-in-r) формулу, по которой происходит расчет:

Z=(p_выб-p_теор)/SQRT(p_выб*(1-p_выб)/N)

Как говориться, "почувствуйте разницу"! В первую очередь, с тем, что написано на cran.r-project.org (см. ссылку в первом абзаце). В знаменателе теперь не p_теор, а p_выб. Делаю пересчет вручную, и результат, как и ожидалось, совпадает с тем, что выдает proportions_ztest (и скорее всего и prop.test).

И вот теперь вопрос к знатокам. А какая-же формула корректна? Возможно-ли такая замена оценки дисперсии в знаменателе, если в результате мы получаем разные - пусть даже в одной точке - результаты? И можно-ли считать результаты, которые получены по формулам, реализованным в R и statsmodels для p_теор=0 корректными и использовать их для решения исходной задачи?

Допускаю, что чего-то где-то недоучитываю. Или просто запутался. Или ответ на поверхности, но я его просто не замечаю. Буду благодарен за ваше видение ситуации.

[100$]

И вот теперь вопрос к знатокам. А какая-же формула корректна?

Вторая.
Патамушта, если исследователь "лет 5 назад снес RStudio", ему ничто не мешает убедиться в том же Excel'е, что при p0=0 расчет все равно идет по второй формуле.

[Игорь]

Покажите исходные данные и ссылку на источник.

Сообщение отредактировал Игорь - 18.02.2023 - 18:31

[nokh]

А какая-же формула корректна? Возможно-ли такая замена оценки дисперсии в знаменателе, если в результате мы получаем разные - пусть даже в одной точке - результаты? И можно-ли считать результаты, которые получены по формулам, реализованным в R и statsmodels для p_теор=0 корректными и использовать их для решения исходной задачи?

1). По поводу формул. Правильная первая. В авторитетной книге Флейса на стр. 26-27 даётся эта же формула, правда с поправкой на непрерывность в числителе, использование которой оговаривается: https://disk.yandex.ru/i/lyP2bDEO1R26bA
Почему программы меняют её не знаю, может авторы считают, что это мы напутали. Но есть и другое соображение.

2). Возможно задача с теоретической вероятностью 0 или 1 не является статистической, а может и вообще вероятностной. Такое рассуждение. Мне тут ютуб накидал роликов про загадочные заборы в Австралии, и кенгуру это первое что пришло сейчас в голову, простите)) Мы знаем, что вероятность рождения человека у животного равна нулю. Мы начинаем проверять кенгуровые сумки и в 1234-ой находим-таки живой человеческий эмбриончик. Вопрос о статистической значимости этого события весьма бессмысленен. Какова вероятность, что это произошло случайно? - так что-ли? Т.е. здесь понятно, что либо это розыгрыш такой, либо мы ошибались: бывает нет-нет да и родится так маленький китаец. Ну или подкидываем обычный игральный кубик, а там 7. Понятно, что либо фокус, либо чудо. Т.е. обнаружение события, для которого теоретическая вероятность нулевая, безо всякой вероятности отвергает этот ноль и требует отдельного разбирательства: откуда произошло засорение выборки или ещё что-то, раз такое чудо случилось.

[passant]

Вторая.
Патамушта, если исследователь "лет 5 назад снес RStudio", ему ничто не мешает убедиться в том же Excel'е, что при p0=0 расчет все равно идет по второй формуле.

Да, я тоже первое, что сделал - проверил на EXCEL, функция Z.ТЕСТ(...0). Сначала даже вставил абзац в свой вопрос, но потом, что-бы не делать его слишком длинным убрал. Но вообще-то это доказательством считать нельзя. Тем более, что там считается еще более специфично, чем в Python и R.

1). По поводу формул. Правильная первая. В авторитетной книге Флейса на стр. 26-27 даётся эта же формула, правда с поправкой на непрерывность в числителе, использование которой оговаривается: https://disk.yandex.ru/i/lyP2bDEO1R26bA
Почему программы меняют её не знаю, может авторы считают, что это мы напутали. Но есть и другое соображение.

Спасибо, обязательно гляну.

2). Возможно задача с теоретической вероятностью 0 или 1 не является статистической, а может и вообще вероятностной.

Вообще-то задачу мне задали маркетологи, но я приведу "медицинский" пример (в меру моих крайне скудных представлений в этой области). Есть неизлечимая болезнь. Есть длинная выборка больных, ни один из которых не выжил. Я понимаю, что считать это генеральной совокупностью нельзя, но тем не менее. И есть препарат, после употребления которого появилась некоторая доля больных, которые выжили. Но выборка существенно (во много десятков раз) короче первой. И вот вопрос можно-ли считать, что препарат действенный? Особенно, если доля выживших очень мала?

Появилась идея. Если рассматривать задачу с точки зрения двух независимых выборок, которая сводитьс к анализу равенства разности двух доль нулю, и использовать соответствующий тест, то там для оценки дисперсии этой разности двух доль используется SQRT(p₁*(1-p₁)/N₁+p₂*(1-p₂)/N₂ ). И тогда, если p₂=0, то как бы мы возвращаемся к оценке, которая применяется в пакетах. Но вот корректна-ли такая подмена?

Сообщение отредактировал passant - 19.02.2023 - 00:20

[ИНО]

Не подскажу насчет корректности и эквивалентности формул (когда вижу сложную формулу в одну строку, и назначаю считать скобки, в итоге почти всегда впадаю в ступор), но двухвыборочный Z-критерий давно существует, изобретать его заново не нужно. И озвученная задача таки явно двухвыборочная, не имеющая ничего общего с одновыборочной задачей из стартового поста.

Сообщение отредактировал ИНО - 19.02.2023 - 00:50

[DoctorStat]

Что-то я зашел в тупик, прошу помощи.

Я не знаток, но вставлю свои 5 копеек.
1) Какая формула правильная. Правильная та, которую вы вывели или проверили самостоятельно из теоретических соображений.
2) на вопрос о корректности постановки задачи при р_теор = 0 лучше всего ответил nokh: если кенгуру родил(а) человека, значит это не кенгуру.

[passant]

, но двухвыборочный Z-критерий давно существует, изобретать его заново не нужно. И озвученная задача таки явно двухвыборочная, не имеющая ничего общего с одновыборочной задачей из стартового поста.

Так то оно так, но вот для двуxвыборочного критерия есть условие n1*p1>10, n1*(1-p1)>10, n2*p2>10, n2*(1-p2)>10. И тут дело даже не в том, что за число в этих формулах справа стоит. А дело в том, что для одной из выборок одно из этих условий заведомо никогда не выполниться. И как тогда применять двухвыборочный критерий?

2) на вопрос о корректности постановки задачи при р_теор = 0 лучше всего ответил nokh: если кенгуру родил(а) человека, значит это не кенгуру.

А если при применении препарата некоторые пациенты стали выздоравливать? Отбрасываем с негодованием, ибо "не кенгуру"? Или пытаемся выяснить, это случайность или все-же на препарат стоит обратить внимание?

Сообщение отредактировал passant - 19.02.2023 - 20:41

[DoctorStat]

А если при применении препарата некоторые пациенты стали выздоравливать? Отбрасываем с негодованием, ибо "не кенгуру"? Или пытаемся выяснить, это случайность или все-же на препарат стоит обратить внимание?

Тогда я не понял предыдущего вопроса. Пациентам дают лекарство с доказанной эффективностью. В аптеках продают препараты, которые лечат, т.е. с p_теор > 0. Причем не просто больше 0, а больше некоторого минимального значения. Скажем, в клинических исследованиях на выборке из 1000 человек, лекарство показало эффективность для 100 человек, т.е. p_теор = 10% . В противном случае (p_теор < 10%) надзорные органы не выдадут лицензию препарату.

Сообщение отредактировал DoctorStat - 19.02.2023 - 21:47

[ИНО]

Так то оно так, но вот для двуxвыборочного критерия есть условие n1*p1>10, n1*(1-p1)>10, n2*p2>10, n2*(1-p2)>10. И тут дело даже не в том, что за число в этих формулах справа стоит. А дело в том, что для одной из выборок одно из этих условий заведомо никогда не выполниться. И как тогда применять двухвыборочный критерий?

Вы полагаете, что использование самопальной формулы сходимость улучшит? Не удовлетворяются условия асимптотических критериев - используйте точные (в данном случае - Барнарда).

А если при применении препарата некоторые пациенты стали выздоравливать? Отбрасываем с негодованием, ибо "не кенгуру"? Или пытаемся выяснить, это случайность или все-же на препарат стоит обратить внимание?

По ходу, мораль примера с кенурями до Вас не дошла. Возьмем аналогию попроще. Представим мешок с бесконечным количеством умерщих пациентов исключительно черных шариков (это мы знаем априори исходя из формулировки в стартовом посте). Какова вероятность, что после 10000000000005000000000000 попыток мы вытянем из него хоть один белый? 0! Следовательно, если из второго мешка с конечным количеством шариков был вынут хотя бы один белый, значит истинное p любого критерия согласия равно строго 0, на формулы и объемы выборок можно даже не смотреть. С терском провалившаяся нулевая гипотеза: шарики во второй мешок отсыпали из первого. Имеет ли отношение данная задача к озвученной позже задаче с пациентами? Нет!

Сообщение отредактировал ИНО - 19.02.2023 - 23:54

[passant]

Тогда я не понял предыдущего вопроса. Пациентам дают лекарство с доказанной эффективностью. В аптеках продают препараты, которые лечат, т.е. с p_теор > 0. Причем не просто больше 0, а больше некоторого минимального значения. Скажем, в клинических исследованиях на выборке из 1000 человек, лекарство показало эффективность для 100 человек, т.е. p_теор = 10% . В противном случае (p_теор < 10%) надзорные органы не выдадут лицензию препарату.

Вообще-то я с самого начала (вернее, тогда, когда попросили привести какую-нибудь жизненную интерпретацию теоретического вопроса) написал, что медицинский пример - не более чем некоторая аналогия задачи реальной. Поэтому приплетать к чисто статистической задаче правила выдачи лицензий и прочие рассуждения о клинических исследованиях - неуместно.

Сообщение отредактировал passant - 20.02.2023 - 00:37

[Игорь]

Задача классическая. Требуется провести одновыборочный z-тест для пропорций.
...
И вот теперь вопрос к знатокам. А какая-же формула корректна?
...
Буду благодарен за ваше видение ситуации.

Видение в предчувствии обещанной благодарности такое. Корректные формулы в книге Флейса (выше уважаемый коллега показал ссылку на англоязычный вариант; доступен русский перевод - у меня был, но подарил нашей научной библиотеке). Задача действительно классическая - сравнение параметра положения (среднее для количественной выборки, доля для дихотомической, как в представленном случае) с известным значением - и настолько простая, что включение ее в статистический пакет не стоит некоторого усложнения интерфейса. Сгодятся и электронные таблицы. Единственная сложность, замеченная при анализе качественных данных - правильно ввести их в соотвествии с требованиями автора программы. А вообще, для рассматриваемой проблемы нет смысла использовать асимптотику (Z-критерий) - в книге есть точное распределение, расчет которого того же уровня сложности.

Сообщение отредактировал Игорь - 20.02.2023 - 09:11

[passant]

Видение в предчувствии обещанной благодарности такое.

Предчувствие вас не обмануло. Я действительно благодарен вам и всем кто конструктивно высказался по теме.

Корректные формулы в книге Флейса (выше уважаемый коллега показал ссылку на англоязычный вариант;

Это не проблема. Как раз сегодня хочу просмотреть этот источник.

включение ее в статистический пакет не стоит некоторого усложнения интерфейса.

Автору пакета, конечно, виднее.

Задача действительно классическая - сравнение параметра положения (среднее для количественной выборки, доля для дихотомической, как в представленном случае) с известным значением

В том то и дело. Есть z-тест. Существует для двух ситуаций, одновыборочный и двухвыборочный. Есть конкретная ситуация, описанная выше. Какой критерий подходит? Одновыборочный? Но по формуле этого критерия получается, что должна быть исключительная ситуация. (Кстати, для количественной выборки и теста Стьюдента на совпадение выборочной средней и мат.ожидания генеральной совокупности все работает вне зависимости от того, какое значение - нулевое или нет - имеет мат.ожидание. Вот и разница). Если попробовать использовать двухвыборочный z-тест, то натыкаемся на предусловие (к размерам выборки), которое делает и этот вариант вроде как некорректным.

Сложность видна даже в том, что на этом, самом продвинутом в интернет форуме по проверке гипотез, с очень ценимыми мною комментаторами, мнения разделились:
100$: : "в том же Excel'е, что при p0=0 расчет все равно идет по второй формуле."
nokh : "По поводу формул. Правильная первая".
ИНО : "И озвученная задача таки явно двухвыборочная".
Игорь: для рассматриваемой проблемы нет смысла использовать асимптотику (Z-критерий)

Игорь: "Единственная сложность, замеченная при анализе качественных данных - правильно ввести их в соотвествии с требованиями автора программы" - готов их выслушать и применить. Только вот какую?

Вижу, что попытка объясниться на примере из области медицины привела к апелляции к надзорным органам в качестве статистического аргумента. Что-бы снова не споткнуться об этом - предлагаю другую аналогию. Наблюдается состояние объекта. Путем последовательного контроля наличия alarm-сигналов, например - получения рекламаций от клиентов (разных, между собой никак не связанных). На протяжении - как тут написали -"10000000000005000000000000 попыток", т.е. такого количества отзывов, они все были положительными, т.е. "объект работает без замечаний". Потом получается два сигнала среди следующих 10 отзывов. Это случайность или при изготовлении объектов пошел брак? А если 2 на 100000 следующих отзывов? А если 2 на следующие 10000000000005000000000000 попыток"? Стоят они некоторого усложнения интерфейса затрат на ремонтно-регламентные работы? Или это статистически незначимые отклонения? В какой момент - при какой доле в выборке - эти данные становятся значимыми?

Вы полагаете, что использование самопальной формулы сходимость улучшит? Не удовлетворяются условия асимптотических критериев - используйте точные (в данном случае - Барнарда).

Вообще-то я нигде не пытаюсь самостоятельно вывести какую-бы то нибыло "самопальную" формулу, (хотя и это мне тут рекомендовали: " Правильная та, которую вы вывели или проверили самостоятельно из теоретических соображений."). Наоборот, а хочу понять, какую классическую формулу тут корректно применять. Но признаюсь, про асимптотику Барнарда - не в курсе. Ссылочкой не поделитесь? ( Уже ознакомился).

Сообщение отредактировал passant - 20.02.2023 - 14:17

[comisora]

2 passant

Добрый день. Мой ответ не касается Вашего исходного вопроса, но при прочтении Ваших пояснений мне вспомнились тесты the Bartels rank test of randomness и библиотека для Change point analysis. Может на Вашу задачу следует посмотреть с этой стороны?

В какой момент - при какой доле в выборке - эти данные становятся значимыми?

Есть ситуация, где нужна 100% уверенность, поэтому нужно предпринимать все возможные меры по профилактике и решению образовавшихся проблем. В таком случае вопрос о статистической значимости смысла не имеет. Если есть возможность построить зависимость условных расходов от доли условного сигнала (хотя бы на уровне допущения), то нужно найти ту величину условных расходов и соответствующую долю условного сигнала, которая будет Вашим ориентиром. Расходы и сигнал - любые метрики успешности процесса, хоть количество расходов на каждый неправильно заполненный бланк в отчёте маркетолога формата А4.

На мой взгляд, готовность платить или принимать решение (Cost-effectiveness thresholds) зависит исключительно от Вашей задачи.

[passant]

Добрый день. Мой ответ не касается Вашего исходного вопроса, но при прочтении Ваших пояснений мне вспомнились тесты the Bartels rank test of randomness и библиотека для Change point analysis. Может на Вашу задачу следует посмотреть с этой стороны?

Спасибо за присоединение к обсуждению. Да Change point detection - это то, что меня больше всего и интересует. И, наверное, в связи с этим ко мне и обратились за советом. Я потер руки, в уверенности -"да это же в любом учебнике написано". Оказалось не все так тривиально.
(Кстати - отдельное спасибо за mcp - ранее не встречал, надо будет посмотреть).

Есть ситуация, где нужна 100% уверенность, поэтому нужно предпринимать все возможные меры по профилактике и решению образовавшихся проблем. В таком случае вопрос о статистической значимости смысла не имеет. Если есть возможность построить зависимость условных расходов от доли условного сигнала (хотя бы на уровне допущения), то нужно найти ту величину условных расходов и соответствующую долю условного сигнала, которая будет Вашим ориентиром. Расходы и сигнал - любые метрики успешности процесса, хоть количество расходов на каждый неправильно заполненный бланк в отчёте маркетолога формата А4.

На мой взгляд, готовность платить или принимать решение (Cost-effectiveness thresholds) зависит исключительно от Вашей задачи.

На мой взгляд, необходимо сначала понять прикладную сторону задачи. Потом перевести ее на формальный язык и решить ее чисто формальными, статистически-математическими, ML-методами, (если такой формализации не сделать - то на наше решение будут влиять в том числе и правила выдачи лицензий, что не есть с моей точки зрение правильно).А потом перевести полученное формальное решение на язык конкретной предметной области и понятный прикладному специалисту, включая и те самые "лицензии", и то, о чем вы пишете, и стоимость ошибки первого и второго рода, и другие особенности связанные с природой задачи и в таком виде уже вернуть решение пользователю. Мне казалась, что такая декомпозиция процесса решения естественна и общепринята, поэтому и описал задачу именно на уровне формального этапа. А интерпретацию попытался оставить в стороне.

Сообщение отредактировал passant - 20.02.2023 - 16:10

[100$]

По поводу формул. Правильная первая.

Корректные формулы в книге Флейса

Эти чрезвычайно полезные сведения, пленяющие своей доказательностью, требуют от докладчиков ответа на простенький вопрос:
почему у Флейса в разбираемом на стр. 27 примере (формула 2.12) теста стандартная ошибка биномиального параметра Po=.75 ген. совокупности (вообще-то, известного до опыта) определяется по выборочному объему n?
По этой же самой выборке определяется и выборочная оценка P=23/25=.92 с ошибкой Std.Err=Корень(,92*,08/25)=.0543 (вторая формула из стартового поста).
Флейс как-то технично подвесил интригу. Может быть вы также хором внесете ясность?

Про то, что в теории вероятностей событие нулевой вероятности объявляется невозможным даже писать не хочецца...

Сообщение отредактировал 100$ - 20.02.2023 - 16:15

[Игорь]

Посмотрел русское издание Флейса (перевод первого издания от 1981 года, при известной настойчивости можно найти ), чтобы пробелы в знании иностранного языка не усугубляли восприятие материала. С. 24 дает подробное пояснение относительно формул и чисел, не оставляя возможности иной трактовки, чем сказано выше.

Сообщение отредактировал Игорь - 20.02.2023 - 19:43

[ИНО]

Есть конкретная ситуация, описанная выше. Какой критерий подходит? Одновыборочный?

"Выше" - это где? Потому как я уже сбился со счета разных ситуаций, которые Вы описали в этой теме, в каждой из которых надо применять иной критерий, чем в для предыдущей. Если с подбором корректных аналогий у Вас плохо, опишите уже совою реальную ситуацию. Или это чисто теоретический треп из серии "а можно ли все-таки удалить миндалины эндоскопом через анус?"

Но признаюсь, про асимптотику Барнарда - не в курсе.

А кто говорил об асимптотике? Все известные мне версии критерия Барнарда точные.

[passant]

"Выше" - это где?

В первом сообщении этой темы. Вопрос звучал так:

"Задача классическая. Требуется провести одновыборочный z-тест для пропорций. вопрос - а каково буде значение этого критерия при pтеор=0 ?
То есть, мы не ожидаем появления положительных событий вообще, а они происходят?"
А также, поскольку понятно, что работа в условиях известного матожидания и дисперсии бесконечной по своей природе генеральной совокупности - это абстракция, возник параллельный вопрос - какой из критериев в описанной ситуации необходимо применить двухвыборочный или одновыборочный.

Чисто статистические вопросы и ищется чисто формальный ответ.

Коллеги попросили привести реальный пример. Учитывая, что форум медицинский, попытался найти медицинскую-же аналогию. Оказалось, что прикладной аспект в данном случае может некоторым помешать ответить на формальный вопрос.

Вы сами привели пример с шарами. В ответ я привел пример из технической диагностики - теперь уже надеюсь хотя и прикладной и вполне реальный, но очень близкий к формальной сути задачи.

Потому как я уже сбился со счета разных ситуаций, которые Вы описали в этой теме, в каждой из которых надо применять иной критерий, чем в для предыдущей.

Всего две. Не знаю, разные-ли критерии надо применять для них (для случая выздоровления и для случая появления alarm-сигналов) . И если разные - то почему? В какой ситуации - какой?

Если с подбором корректных аналогий у Вас плохо, опишите уже совою реальную ситуацию. Или это чисто теоретический треп из серии "а можно ли все-таки удалить миндалины эндоскопом через анус?"

Ну, кому "миндалины эндоскопом через анус" - а кому вполне реальная задача из области Change Point Detection при потоковом поступлении данных (для тех.диагностики - еще и в режиме on-line) ..

Сообщение отредактировал passant - 21.02.2023 - 14:06

[ИНО]

Извините за резкость, но Вы упорно гоните какую-то дичь. Там, где речь идет о проверке соответствия эмпирической величины некоторому заданному теоретическому параметру или закону распределения, само собой разумеется, нужно применять одновыборочный критерий, он же критерий согласия. И это вполне реалистичная ситуация, возникающая при проверке соответствия наблюдаемой картины мира некой теоретической модели, которая была создана не статистическими методами. Например, гипотезы об идеально сбалансированной монетке, которая обязана падать орлом кверху ровно при половине подбрасываний. Или о равном соотношении полов в потомстве. Или законов Менделя. И т. д. В вашем случае все еще проще, поскольку постулируете "теорвер=0", что автоматически выводит задачу из категории решаемых статистическими методами, о чем Вам уже весьма ясно и недвусмысленно сказали.

Но далее Вы описываете совершенно иную задачу о сравнении долей двух выборок. Пусть даже одна из них сильно больше второй, это еще не дает права считать ее генеральной совокупностью. Здесь нужен критерий двухвыборочный, он же критерий однородности. Разницу между согласием и однородностью улавливаете? И да, в зависимости от объемов выборок и наблюдаемых частот следует использовать разные критерии однородности. Когда я говорил о Барнарде, опирался на конкретное описание проблемы с пациентами, а их (особенно со 100% летальностью в одной из групп) всегда достаточно мало, чтобы можно было посчитать этот критерий на компьютере даже в самой кондовой оригинальной версии за приемлемое время. Но, поскольку далее Вы от медицины открестились, то, возможно, работаете с огромными выборками, где Барнарда пришлось бы считать до старости, в то время как и простая асимптотика была бы практически столь же эффективна. А дальше задача неожиданно трансформировалась в анализ временных рядов (насколько я могу судить по словосочетанию "Change Point Detection"). Да еще и на лету. Бурная эволюция исследовательской мысли - это, конечно, хорошо, но требовать один единственноправильный критерий на все порожденные ею экспериментальные планы весьма странно.

Сообщение отредактировал ИНО - 21.02.2023 - 14:35

[passant]

Извините за резкость, но Вы упорно гоните какую-то дичь. ...... Бурная эволюция исследовательской мысли - это, конечно, хорошо, но требовать один единственноправильный критерий на все порожденные ею экспериментальные планы весьма странно.

Вы упорно подменяете мои вопросы, потом показываете, что эта подмена - дичь, а потом называете это бурной эволюцией мысли. Не смею с вами и вашим авторитетом спорить, но:

требовать один единственноправильный критерий на все порожденные ею экспериментальные планы

Никто этого не требовал, и я прекрасно понимаю разницу между одновыборочным и двухвыборочным критерием.
Вопрос стоял иначе. Применимость обоих критериев для случая, когда одна из выборок "нулевая", оказывается под вопросом. Одного - из-за деления на нуль, второго - из за ограничений на размер доли. Как поступать в таком случае? И уж точно речь не шла о выдуманной вами "самопальной формуле".

задача неожиданно трансформировалась в анализ временных рядов (насколько я могу судить по словосочетанию "Change Point Detection"). Да еще и на лету.

Наоборот. Практически все задачи CPD временных рядов так или иначе сводятся к задаче анализа гипотез. Разных. Для разных входных данных. Разных условий. И нет ничего странного, что для случая временных рядов событий она может быть в некоторых случаях сведена в том числе и к проверке гипотезы равенства доль. (Да, можно вообще применять методы анализ потоков событий, можно и другими способами воспользоваться. Но не об этом сейчас речь). Можно говорить об эффективности самого z-теста по сравнению с другими тестами. Но тем не менее, этот тест вполне себе удовлетворительно срабатывает для случая, если анализируемые выборки (отрезки ряда) в обязательном порядке включают сигналы события. А если нет? Программе мониторинга об этом заведомо неизвестно. Вопрос - можно-ли в таком случае воспользоваться двухвыборочным критерием (да/нет) и если нет - то анализируется-ли такая ситуация в известных реализациях?


При реализации систем мониторинга на предмет СPD, действительно, иногда (особенно для случая экстремально редких событий) удобнее не использовать расчет доли для каждого очередного положения скользящего окна, а выполнять накопительный перерасчет доли (например - до появления первого события), а вторую выборку собирать начиная от этого события. И тут сразу два вопроса - 1) сколько элементов надо накопить во второй выборке до принятия решения и 2) если первая выборка очень большая (вопрос по ходу - на сколько она должна бать большая?) можно ли применить одновыборочный критерий (при этом необходимо оказывается, что значение доли в первой ("теоретической") выборке равна нулю).

Да, эта задача не имеет ничего общего ни мешком с шариками, ни с теоретически ожидаемой вероятностью выпадения монетки ( примеры которые приводил не я), но это вполне реальная, практическая задача. Которую к тому-же надо решать (принимать решение) автоматизировано за разумное время, но желательно - как можно быстрее.

Даже в упрощенном описании в задаче очень много взаимосвязанных вопросов. И если бы я начал с описания реального алгоритма СPD, вопросов ко мне и непонимания задачи возникло бы на порядок больше. Впрочем, многие сразу поняли о чем речь, значит я был не очень и неправ, пойдя таким путем формализации. Я выделил формальный вопрос о критериях применимости одновыборочного и двухвыборочного z-теста, но не общих, а для описанного особого случая. Все. И даже явно написал в первом-же сообщении: "Допускаю, что чего-то где-то недоучитываю. Или просто запутался. Или ответ на поверхности, но я его просто не замечаю". Как оказалось даже такая рафинированная задача оказалась все-же не совсем тривиальной. А что-бы было, если бы я сразу окунул коллег в тонкости исходной прикладной задачи, еще и нагрузив ее особенностями программной реализации алгоритма?

Это вполне реальная, задача. И проблемы возникают при попытках адаптации теоретических алгоритмов к этой прикладной задаче. Что само по себе - обычное дело при применении на практике (вон, выше даже регламент выдачи лицензий необходимо в некоторых случаях учитывать, оказывается). Мне это все дичью не кажется. Если у вас такое представление - вы вольны игнорировать мои вопросы. Но многие коллеги мне подсказали идеи поиска решения, и снабдили ранее мне не известными источниками информации, за что я им еще раз благодарен.

Сообщение отредактировал passant - 21.02.2023 - 19:21

[ИНО]

Как же тебя помнешь, если ты ничего не говоришь(С). Приходится додумывать, в связи с чем превратное понимание закономерно.

Пока что я понял только один вопрос: можно ли использовать одновыборочный критерий в двухвыборочной задаче, где одна из выборок - "нулевая"? Ответ - нельзя, поскольку эта "нулевость" - не параметр распределения, а его точечная выборочная оценка. Не исключено, что если б выборку еще увеличении, то в ней таки попалась бы парочка единиц. Поэтому надо использовать двухвыборочный критерий. Посмотрел на формулу двухвыборочного z-критерия - ноль в одной из выборок никак не мешает. Ноль в знаменателе появляется лишь в одном случае - если в обеих выборках одни только нули или одни только единицы. Вот только со сходимостью распределения статистики к нормальному закону в случае с нулевыми долями, сильно подозреваю, что все плохо.

Сообщение отредактировал ИНО - 22.02.2023 - 05:13

[Игорь]

Спешу поделиться ссылкой о мерах против "нуля" (короче, нуля, ставшего камнем преткновения в настоящей теме, не бывает): https://www.pharmacokinetica.ru/jour/article/view/97/97 В статье и другие полезные формулы, примеры и ссылки.

P.S. Для комплекта https://www.pharmacokinetica.ru/jour/article/view/253/248

Сообщение отредактировал Игорь - 26.02.2023 - 17:02

[nokh]

Спешу поделиться ссылкой о мерах против "нуля" (короче, нуля, ставшего камнем преткновения в настоящей теме, не бывает):

Да нет же, не рожают кенгуру китайцев, вероятность - нулевая. Я согласен с ИНО: задача совсем не одновыборочная. Раз реализуется невозможное событие, значит что-то изменилось, из ряда когда возможны только нули выбилась единица. С этого момента открываем новую линию событий, тест становится двухвыборочным, а мы начинаем считать вероятность в новых реалиях.

А дядька по вашим ссылкам порадовал - реально отстал от жизни прямо на 30 лет. Я ещё в аспирантуре (год 1995) знал про точные методы для таблиц сопряжённости, про G-критерий и логлинейный анализ, про отклонения Фримана-Тьюки и прочее, что в статье даже не упоминается. Чуть позже узнал, что точный метод Фишера плох чисто теоретически, т.к. основан на гипергеометрическом распределении, а применяется к биномиальному, а также про согласованные остатки Хабермана для таблиц сопряжённости. Ещё позже, лет 7? назад - про ДИ Джеффриса, и про то, что нормальная аппроксимация Вальда плоха и не рекомендуется к использованию при расчёте ДИ вообще. Ну а 5 лет назад узнал, что шотландская приставка Мак по правилам русского языка пишется слитно и никак не отделяется: просто Макнемар (как Макдональдс). Короче, "В печку её!" (с)

[Игорь]

вероятность - нулевая. Я согласен с ИНО: задача совсем не одновыборочная.

Ваш остроумный пример не имеет отношения к статистике. Да и данные как минимум неоднородны: эмпирическая выборка - часть генеральной совокупности, по которой в случае доказанной репрезентативности мы можем судить о популяции. Если событие хоть раз зафиксировано в выборке , оно не исключено в генеральной совокупности. Отсюда постулирование нулевой вероятности события в популяции некорректно. Поэтому форула может быть скорректирована, как показано в источнике. В самом деле 0,0000000000000000001 и 0 в вычислительном смысле - одно и то же: более точное значение различимого нуля называется MACHEPS и легко вычисляется для конкретной системы.

реально отстал от жизни прямо на 30 лет.

Что-то я за Ньютона-Рафсона и Гаусса обеспокоился - не запретили бы. Типа как у нас в областной библиотеке - получили приказ списать всю научную литературу издания до определенного года (не помню сейчас - до 2000-го, что ли). Слава богу, не сдали в макулатуру, а предложили всем желающим забрать бесплатно. Мы с коллегой десятка два хороших книг по статистике спасли.

Я ещё в аспирантуре (год 1995) знал про точные методы для таблиц сопряжённости, про G-критерий и логлинейный анализ, про отклонения Фримана-Тьюки и прочее, что в статье даже не упоминается. Чуть позже узнал, что точный метод Фишера плох чисто теоретически, т.к. основан на гипергеометрическом распределении, а применяется к биномиальному, а также про согласованные остатки Хабермана для таблиц сопряжённости. Ещё позже, лет 7? назад - про ДИ Джеффриса, и про то, что нормальная аппроксимация Вальда плоха и не рекомендуется к использованию при расчёте ДИ вообще.

Поэтому и предпочитаю при разработке ПО ссылки на монографии, пусть даже "просроченные". Идея подсмотрена у лучших программных проектов. Статьи - в редких случаях. Уж очень часто их отзывают - об отзыве монографий не слышал.

Ну а 5 лет назад узнал, что шотландская приставка Мак по правилам русского языка пишется слитно и никак не отделяется: просто Макнемар (как Макдональдс). Короче, "В печку её!" (с)

Точно! А предмет обсуждения в данной теме по-русски называется "доля" (из английского перевода single proportion драматическим образом пропало первое слово, превратив предмет обсуждения непонятно во что). А что именно называется пропорцией - первая ссылка в поиске Яндекса. Подтверждение сказанного: формулы и терминология из популярной программы https://www.spss-tutorials.com/z-test-and-c...gle-proportion/

Сообщение отредактировал Игорь - 3.03.2023 - 09:58

[100$]

Ответил на свой вопрос устами проф. Агрести.

В общем, на ключевой вопрос темы : "А какая формула правильная" правильный ответ - "Обе хуже. Но первая, возможно, обладает более приятными стат. свойствами в плане построения ДИ".

Сообщение отредактировал 100$ - 27.02.2023 - 14:08

Эскизы прикрепленных изображений