Критерий для анализа сверхмалых выборок, выборки из 3 значений. Применение стат. анализа Опции

[ИНО]

То есть слово "exact" в выдаче Вы в упор не видите? Какая, нафиг, нормальная аппроксимация, если я Вам все перестановочные значения тестовой статистики на блюдечке поднес! Постройте уже гистограмму или ядерную оценку плотности и убедитесь в идеальной симметрии относительно 0, вместо того, чтобы рассуждать отвлеченно. Не суть, я выбрал чуть другую статистику, c этим Z, чем бы оно ни было, будет аналогично.

R - это как бы не одна программа, а платформа для написания программ любым желающим. Но в разных пакетах разных авторов, которые за частую "доктора философии", съевшие собаку именно на этой проблеме, p точных перестановочных критериев получается на этом примере одинаковое, ровно то же, что у Руниона, у которого он взят. И ровно то же, что у меня в самописном коде. И на на Питоне, как пояснил Vitek_22, аналогично. Т. е. имеется некий консенсус. И только лишь Баба Яга против

Сообщение отредактировал ИНО - 11.08.2025 - 21:00

[ИНО]

Student test (location): two sided p = 0.019616
Welch test (location): two sided p = 0.0210766
Pagurova test (location): two sided p = 0.022296
Cochran-Cox test (location): two sided p = 0.0280864
Mann-Whitney test (location): two sided p = 0.0282801
Wilcoxon test (location): two sided p = 0.0249259

Милейший, зачем Вы вывалили эту кучу асимптотических p, когда мы говорим о точных перестановочных?

Сообщение отредактировал ИНО - 11.08.2025 - 21:06

[Игорь]

Удалено автором поста.

Сообщение отредактировал Игорь - 25.08.2025 - 07:21

[ИНО]

Скачал Руниона этого. Алгоритм, который он предлагает довольно необычный - генерирует не все сочетания, а только те, которые дают сумму чисел не большую, чем наименьшая сумма в исходных выборках. Выглядит довольно привлекательно плане сокрушения примени вычислений, но как угадать с ходу эти немногие сочетания без полного перебора, тайна велика есть. Но сейчас нам важнее вопрос об умножении p на два. Так и должно быть, поскольку комбинации с меньшей суммой, могут оказаться как в группе А, так и в группе В. Вторая возможность в книге детально не рассматривается, но подразумевается. Это в случае выборок равного объема. При неравном ассиметричное распределение получается. Вот-только рунионовским методом его не визуализировать. И множить одностороннее p на два в этом случае действительно нельзя, тут Рунион и впрямь ошибается. В частности, в первом примере на странице 116, где n1=2, а n2=3, двустороннее p должно быть не 0,4, а 0,3. Но в примере, где n1=n2=5 ошибки нет, там множить одностороннее p на два допустимо. Но программы так не делают, они строят полное распределения на всех возможных сочетаниях.

[ИНО]

Уважаемый, но эту кучу первыми вывалили Вы:Я лишь ее конкретизировал.

Ничего подобного, в процитированном написано "статистик Стьюдента...", а не "критериев Стьюдента..." - сечете разницу? Разумеется, имелось в виду использование означенных статистик в качестве тестовых в точном перестановочным критерии. В Аттестате был точный Стьюдент, точный Вилкоксон и еще что-то. Забыли уже?

Еще раз повторяю: если в выдаче написано "exact", ни о каких асимптотиках и аппроксимациях речь не идет, и не важно какой буквой обозвана тестовая статистика, Z или Зю. Идет перебор ее значений при всех сочетаниях, отбираются такие же или более экстремальные (по модулю), как наблюдаемая и их число делится на общее число сочетаний. И так получается честное двусторонее p.

А польза этих методов именно здесь в том, что отличаться их результаты сильно не должны, и можно их использовать для проверки. Независимо от технологии вычисления, это эквивалентные тесты.

А вот и нет: у классических критериев нет "технического порога" 2/N перестановок, поэтому в случае особо малых выборок p может быть меньше на порядки.

Сообщение отредактировал ИНО - 11.08.2025 - 22:31

[Игорь]

Удалено автором поста.

Сообщение отредактировал Игорь - 25.08.2025 - 07:21

[ИНО]

R правильно считает. StatXact, наверное, тоже считает правильно (но за неимением исходных данных этого не проверить), поскольку при неравных выборках двустороне p действительно должно быть меньше удвоенного одностороннего. Рунион считает неправильно только для выборок неравного размера, для равных выборок правильно, хоть и неклассическим способом. Ваше ПО считает неправильно (судя по тем значению, что Вы привели для примера из Руниона с 5 и 5). А Вы сами неправильно читаете (или вообще не читаете) то, что что я тут пишу.

Сообщение отредактировал ИНО - 12.08.2025 - 21:52

[Игорь]

Удалено автором поста.

Сообщение отредактировал Игорь - 25.08.2025 - 07:22

[ИНО]

Вы неверно считаете двустороннее. Что есть одностороннее p перестановочного теста? Доля с перестановочных статистик, которые строго больше или строго меньше наблюдаемой. А двустороннее? Доля перестановочных статистик, которые больше или равны наблюдаемой. Когда Вы складываете оба односторонних p, то упускаете случае тождественного равенства! Поэтому coin считает правильно, а AtteStat и Criterial - нет.

[Игорь]

Удалено автором поста.

Сообщение отредактировал Игорь - 25.08.2025 - 07:22

[ИНО]

Вот именно двустороннее и неверное, к односторонним претензий нет. Почему неверное, я написал. Не считаете нужным править и желаете подпортить правильное - дело барское. Все равно кроме Вас и Ваших студентов эти продукты практически никто не использует.

[ИНО]

Только что совершенно случайно в процессе чтения статьи по другой теме наткнулся на такой пассаж:

When distributions are highly discrete, the mid-p-value [13, 14] is frequently used as an alternative to the p-value. The mid-p-value is equivalent to the p-value, except that it includes only half the probability of the observed statistic. This adjustment, which brings the p-value into better agreement with that for a continuous distribution, has been shown to be more accurate for analysis of 2×2 tables than Fisher?s exact test when marginal totals are not xed by design [15]. If the observed value of the test statistic is the most extreme possible, as in this case, the mid-p-value is half the p-value. Such a large correction may be unpalatable and suggests caution when interpreting p-values in these circumstances

Если я правильно понял, в случаях, когда достигаемый уровень значимости точного критерия упирается в "технический порог", предлагается тупо поделить его на два. Кажется, это какой-то волюнтаризм чистой воды, для которого трудно придумать математическое обоснование, но для прояснения ситуации не повредит ознакомиться с источниками 13, 14 и 15 из списка литературы.

Сообщение отредактировал ИНО - 14.08.2025 - 18:01

[Игорь]

Удалено автором поста

Сообщение отредактировал Игорь - 26.08.2025 - 19:51

[ИНО]

Игорь, полагаю, откуда и как установить R или еще что, желающие догадаются без Вашей развернутой справки. Давайте лучше обсудим постулируемую Вами безальтернативность минских соглашений AtteStat и Criterial. Какой смысл Вы вкладываете в это утверждение? Имеете в виду, что мало другого софта, считающего критерий Фишера-Питмена, только Ваши творения да R (в котором по Вашему мнению двусторонее p неправильное)? Это не так: короткое гугление показало, что он независимо реализован, как минимум, в Матлабе и Стате. Не знаю насчет кнопочных программ, это надо каждой разбираться индивидуально, поскольку может скрываться под каким-нибудь неопределенным именем типа просто "permutation test" или "randomization test". В любом случае это совсем не экзотика типа Лемана-Розенблатта.

[Игорь]

Удалено автором поста.

Сообщение отредактировал Игорь - 25.08.2025 - 07:21