Критерий для анализа сверхмалых выборок, выборки из 3 значений. Применение стат. анализа Опции

[ИНО]

Причем тут смежные области? Вопрос лежит сугубо в плоскости дизайна и звучит так: следует ли автору ПО создавать такой интерфейс, который будет максимально благоприятствовать бездумному использованию? Одна кнопка "посчитать все" (если я правильно понял Ваш тезис о "радикальном упрощении") - это прямо-таки приглашение к дата дреджингу.

Сообщение отредактировал ИНО - 2.03.2023 - 12:01

[Vitek_22]

Господа, я что-то совсем позабыл выложить пример. Тут некоторые товарищи смеялись с малой выборки, но в биологии это встречается, ещё раз напомню про трансгенных животных, которые очень плохо размножаются или развиваются (если мы говорим о случаях эмбриотрансфера - ЭКО по сути, из 50 подсаженных эмбрионов родиться может 7-10 животных).
Правда, в приложенной статье никакой проблемы с набором выборок быть не могло: либо лень, либо желание сэкономить реактивы, либо и то, и то... хотя статья опубликована в вполне себе котирующемся журнале. Так вот, сравнение двух выборок с n1=n2=3 проводится критерием Фишера-Питмана, только непонятно, каким, точными (с перебором всех комбинаций... а их там не много) или с использованием метода Монте-Карло. Может кому будет полезно для ссылки. Если есть статья в рецензируемом журнале и у тебя точно такой же случай с малым объёмом - смело ссылайся и никто ничего тебе не скажет)) ну почти

Рисунок 2-4 и рис 6 в статье - для быстрого поиска. Т.к. авторы отображают на рисунках весь объём выборки - сразу видно, что она из 3 значений состоит.

Но знаете, в чём цимес, я нарисовал 2 выборки из 3 значение с разницей средних в 13 раз и очень маленьким SD. И вот как я Фишера-Питмана не крутил, ни точный, ни с Монте-Карло (100000 перестановок, избыточно, но столько у меня по умолчанию), я не получил p>0,1, вернее так, в любом случае (я увеличил разницу средних в 100 раз) p было равно 0,1 и ни о какой стат. значимости и речи быть не могло)) А статистическая мощность (количество симуляций 100000, количество перестановок в каждой 5000) была равна 0, что как бы намекает на невозможность получить p<0,05. Вывод - статья полный фуфел, прошу пардона)) статистика фальсифицирована.

Сообщение отредактировал Vitek_22 - 8.08.2025 - 00:34

Прикрепленные файлы

 Фишер_Питман_статья_с_использованием_на_малых_выборках.pdf ( 4,69 мегабайт ) Кол-во скачиваний: 345

 

[Игорь]

как бы намекает на невозможность получить p<0,05

В примере на с. 116 справочника Руниона p = 0,03. Чтобы убедиться, что всё сделано правильно, можно взять его данные, подставить в Вашу программу и посмотреть, совпадают ли результаты.

Сообщение отредактировал Игорь - 8.08.2025 - 07:47

[ИНО]

Если я правильно понял задачу, то получить p<0,05 действительно нельзя, но вот p = 0,05 можно (при очень большой разности средних). А понял так: есть две выборки по 3 варианты в каждой, соответственно совокупный объем составляет 6. Как показало исследование в соседней теме, для точного перестановочного теста достаточно сгенерировать все сочетания 6 по 3, коих, если верить Википедии, 6!/(3!*(6-3)!) = 20. В таком случае минимальный достигаемый уровень значимости, вне зависимости от величины различий и выбранной статистки, равен 1/20 = 0,05. То есть на реальных данных может получиться число большее больше, но никак не меньшее. Как Руниону удалось добыть 0,03, тайна велика есть. Может, у него были выборки малость побольше? Не читал.

То, что в статье написано p<0,05, вместо строгого p=0,05, в принципе, простительно: авторы могли справедливо решить, что уперлись в то, что Стобаксов назвал "техническим порогом", и эту ситуацию можно трактовать как "значение измеряемой величины ниже предела обнаружения прибора". Жаль, там нет сырых данных (или я на заметил?). Шесть чисел много места не заняли б, зато вся интрига на тему возможной фальсификации развеялась бы.

Сообщение отредактировал ИНО - 8.08.2025 - 18:34

[Vitek_22]

тов. Игорь, можете привести эти две выборки по 3 значения? Я скачал в djva эту книгу, но на 116 стр есть только выборки: [4,9,12] и [5,11,17], сравнение которых даёт p=0,6


Тов. ИНО,
Можете привести выборки объёмом 3, которые дадут p=0,05 или p<0,1 ?

Вот, я попросил коллегу проверить в R с модулем на питоне (в сети этот модуль есть - называется coin), и собственно в питоне есть Фишер-Питман в стандартной библиотеке (fisher_pitman_test в библиотеке SciPy,) - я лично с её использованием посчитал... собственно, не я, а компьютер, руками там вообще ничего не правил - всё уже реализовано в библиотеке - только подсунь выборки. Наконец, я попросил посчитать ИИ фишера-питмана в "ручном режиме", перебрав все комбинации и приведя их, чтоб я видел правильно ли он перебирает... Не выходит там 0,03. 0,1 мне дали все 3 попытки!
Вывод - не надо верить всему, что написано в книгах. Сегодня любой может написать код и компьютер всё за него посчитает. Не доверять - нет причин.

P.S. Эра спецсофта для статистики канула в Лету, я перешёл на питон и теперь всё считаю там. Что есть в программе Statistica от Statsoft - проверил, всё совпадает, считает чётко. Чего нет - проверил на выборках из статей (тот же Фишер-Питман, Бруннер-Мюнцель (включая перестановочный варианта), Йена, Уэлча, Бутстрэп с коррекцией смещения и ускорением и т.д.) - всё совпало с литературой, конечно, перестановочные тесты немного отличаются - на пару %, но это для них нормально.

Сообщение отредактировал Vitek_22 - 8.08.2025 - 21:04

[ИНО]

Признаю свою неправоту. Хотя она не столкьо моя, сколько авторов этой статьи. Вот-так бывает, если бездумно копировать формулы их статей в рецензируемых журналах!

Правильная формула для вычисления минимального достигаемого уровня значимости не 1/N, где N - количество сочетаний (как сказано в статье по ссылке), а 2/N. Почему 2? А потому что, кроме тождественного сочетания есть обратное ему, когда псевдовыборка 2 представляет собой копию оригинальной выборки 1 и наоборот. И на самом деле это большая проблема, поскольку тождественная перестановка и вот-эта обратная в реальности не помогают "восстановить распределение", а только лишь крадут мощность. В любом двухвыборочном точном перестановочном тесте всегда будут эти два паразитические значения статистики "настолько же или более экстремальной". В случае больших N, ими можно пренебречь, но в случае малых, получается лажа. С этим надо что-то делать...

Сообщение отредактировал ИНО - 8.08.2025 - 21:22

[Игорь]

тов. Игорь, можете привести эти две выборки по 3 значения? Я скачал в djva эту книгу, но на 116 стр есть только выборки: [4,9,12] и [5,11,17], сравнение которых даёт p=0,6

Чтобы избежать отвлеченных рассуждений, я предложил проверить Вашу программу на опубликованных данных с известным результатом, полученным ручным расчетом. Рунион, гипотетический пример из раздела 10.2 (начинается пример на с. 116 - об этом я и написал в своем посте, данные к нему на с. 117). Даны две выборки по 5 вариант.
Первая выборка:
0,18 0,27 0,19 0,36 0,43
0,41 0,38 0,73 0,49 0,58
Вычисление критерия дает двустроннее значение 0,03.
Чуть выше в книге есть еще пример: выборка из 2-х вариант и выборка из 3-х вариант. Вычисление дает 0,2.
Если Ваша программа выдает такие же результаты, то она, предположительно, считает правильно. Если нет, нужно посмотреть, правильно ли вводятся данные - в некоторых программах это не очевидно.
Обратите внимание на формулу вычисления p-значения статистики критерия (ту, что с факториалами).

Сообщение отредактировал Игорь - 9.08.2025 - 10:09

[Vitek_22]

Тов. Игорь, в статье. что я приложил объём выборок равен 3, я говорил что при объёме 3 в двух выборка нельзя получить p<0,1
А в вашем примере объём выборок равен 5! Моя программа посчитала всё верно, приложил принтскрин.

p=0,03175 что при расчёте точного критерия, что при использовании метода Монте-Карло, но на малых выборках оно так и должно быть, потому как число перестановок (у меня по умолчанию 100000) намного больше числа возможных комбинаций (252)

Мощность, конечно, маловата, около 6%

Сообщение отредактировал Vitek_22 - 9.08.2025 - 13:10

Эскизы прикрепленных изображений

 

[Игорь]

Моя программа посчитала всё верно, приложил принтскрин.

Теперь я уверен в Вашей программе, и могу утверждать, что полученные Вами результаты расчета на реальных данных отражают статистическую картину явления. Хотя ...

Мощность, конечно, маловата, около 6%

Мощность, как известно, является возрастающей (от 0 до 1) функцией от численности выборки, поэтому для очень малых выборок мощность так мала. Возможно, либо Вас устроит такая мощность, либо такие малые выборки - единственная возможность посчитать хоть что-то. Я посмотрел в Интернете, но с наскоку не нашел исследований мощности двухвыборочных перестановочных тестов. Вероятно, не слишком долго искал. Если Вам попадутся такие исследования, буду благодарен, если укажете ссылки на них.

Сообщение отредактировал Игорь - 9.08.2025 - 16:01

[ИНО]

Дело не в мощности. Мощность критерия - функция, зависящая в числе прочего от величины эффекта. Здесь же предел в 0,1 не зависит ни от чего, кроме объемов выборок. Я дал ссылку на статью, где этот порог назывался "minimum attainable Fisher-exact P value". Вот только формула расчета там неправильная, несмотря на то, что это далеко не последний американский журнал. Нужен множитель 2. И на самом деле это катастрофа, в принципе делающая применение перестановочных критериев бессмысленным для столь малых выборок. По крайней мере в том виде, в котором они существуют сейчас. Возможно, этот порог как-то можно обойти, на что намекают, например, упомянутые ранее в этой теме примеры расчетов в PAST, но я не знаю как (в тамошней документации об этом ни слова). Буду рад любым ссылкам и соображениям.

[ИНО]

Я тоже посчитал этот пример из Руниона с 5 и 5, при помощи оригинальных функций на R. Первая использует разность средних, вторая - статистику Уэлча (может быть предпочтительнее в случае выборок разных объемов с разными дисперсиями). В выдаче первый элемент списка - наблюдаемая статистика, второй - стастистика при всех сочетаниях (обратите внимание что первая и последнее числа всегда равны по модулю, это и есть та самая ранее мною упомянутая паразитическая пара, ограничивающая минимальный достигаемый уровень значимости), третий - p. В данном примерe в обоих тестах p равны, и больше минимально возможного 2/252, следовательно упор в "технический порог" не произошел, и результаты адекватно отражают ошибку первого рода (хотя и в довольно грубом приближении, поскольку в вычислении опирается на ступенчатую эмпирическую функцию распределения). Это же можно понять, видя что в середине второго элемента списка есть числа, большие или равные по модулю первому и последнему. В противном случае можно было бы котировать что p-значение теста вследствие принципиального изъяна алгоритма его вычисления отражает не реальную ситуацию с данными, а погоду на Луне

Код

exactmeandifftest<-function(x, y) #Тестовая статистика - разность средних арифметических
{
  if(length(y)>length(x))
  {
    x_<-y
    y_<-x}
  else
  {
    x_<-x
    y_<-y
  }
  k<-length(x_)
  xy<-c(x_, y_)
  n<-length(xy)
  id<-1:n
  combmat<-combn(id, k)
  recmeandiff<-function(X, xy)
  {
    x<-xy[X]
    y<-xy[-X]
    meandiff<-mean(x)-mean(y)
    return(meandiff)
  }
  diffobs<-mean(x_)-mean(y_)
  diffsim<-apply(combmat, 2, recmeandiff, xy=xy)
  absdiffobs<-abs(diffobs)
  absdiffsim<-abs(diffsim)
  res<-as.numeric(round(absdiffsim[2:length(absdiffsim)], digits=6)>=round(absdiffobs, digits=6))
  p<-(1+sum(res))/(ncol(combmat))
  return(list(diffobs, diffsim, p))
}
__________________________________________

exactwelchtest<-function(x, y) #Тестовая статистика - статистика Уэлча
{
  if(length(y)>length(x))
  {
    x_<-y
    y_<-x}
  else
  {
    x_<-x
    y_<-y
  }
  k<-length(x_)
  xy<-c(x_, y_)
  n<-length(xy)
  id<-1:n
  combmat<-combn(id, k)
  recmeandiff<-function(X, xy)
  {
    x<-xy[X]
    y<-xy[-X]
    t<-(mean(x)-mean(y))/sqrt((var(x)/length(x))+(var(y)/length(y)))
    return(t)
  }
  tobs<-(mean(x_)-mean(y_))/sqrt((var(x_)/length(x_))+(var(y_)/length(y_)))
  tsim<-apply(combmat, 2, recmeandiff, xy=xy)
  abstobs<-abs(tobs)
  abstsim<-abs(tsim)
  res<-as.numeric(round(abstsim[2:length(abstsim)], digits=6)>=round(abstobs, digits=6))
  p<-(1+sum(res))/(ncol(combmat))
  return(list(tobs, tsim, p ))
}

x<-c(0.18, 0.27, 0.19, 0.36, 0.43)
y<-c(0.41, 0.38, 0.73, 0.49, 0.58)

exactmeandifftest(x, y)

[[1]]
[1] -0.232

[[2]]
[1] -0.232 -0.240 -0.252 -0.112 -0.208 -0.172 -0.212 -0.224 -0.084 -0.180 -0.144 -0.232
[13] -0.092 -0.188 -0.152 -0.104 -0.200 -0.164 -0.060 -0.024 -0.120 -0.144 -0.156 -0.016
[25] -0.112 -0.076 -0.164 -0.024 -0.120 -0.084 -0.036 -0.132 -0.096 0.008 0.044 -0.052
[37] -0.136 0.004 -0.092 -0.056 -0.008 -0.104 -0.068 0.036 0.072 -0.024 -0.016 -0.112
[49] -0.076 0.028 0.064 -0.032 0.016 0.052 -0.044 0.096 -0.176 -0.188 -0.048 -0.144
[61] -0.108 -0.196 -0.056 -0.152 -0.116 -0.068 -0.164 -0.128 -0.024 0.012 -0.084 -0.168
[73] -0.028 -0.124 -0.088 -0.040 -0.136 -0.100 0.004 0.040 -0.056 -0.048 -0.144 -0.108
[85] -0.004 0.032 -0.064 -0.016 0.020 -0.076 0.064 -0.100 0.040 -0.056 -0.020 0.028
[97] -0.068 -0.032 0.072 0.108 0.012 0.020 -0.076 -0.040 0.064 0.100 0.004 0.052
[109] 0.088 -0.008 0.132 0.048 -0.048 -0.012 0.092 0.128 0.032 0.080 0.116 0.020
[121] 0.160 0.072 0.108 0.012 0.152 0.140 -0.140 -0.152 -0.012 -0.108 -0.072 -0.160
[133] -0.020 -0.116 -0.080 -0.032 -0.128 -0.092 0.012 0.048 -0.048 -0.132 0.008 -0.088
[145] -0.052 -0.004 -0.100 -0.064 0.040 0.076 -0.020 -0.012 -0.108 -0.072 0.032 0.068
[157] -0.028 0.020 0.056 -0.040 0.100 -0.064 0.076 -0.020 0.016 0.064 -0.032 0.004
[169] 0.108 0.144 0.048 0.056 -0.040 -0.004 0.100 0.136 0.040 0.088 0.124 0.028
[181] 0.168 0.084 -0.012 0.024 0.128 0.164 0.068 0.116 0.152 0.056 0.196 0.108
[193] 0.144 0.048 0.188 0.176 -0.096 0.044 -0.052 -0.016 0.032 -0.064 -0.028 0.076
[205] 0.112 0.016 0.024 -0.072 -0.036 0.068 0.104 0.008 0.056 0.092 -0.004 0.136
[217] 0.052 -0.044 -0.008 0.096 0.132 0.036 0.084 0.120 0.024 0.164 0.076 0.112
[229] 0.016 0.156 0.144 0.120 0.024 0.060 0.164 0.200 0.104 0.152 0.188 0.092
[241] 0.232 0.144 0.180 0.084 0.224 0.212 0.172 0.208 0.112 0.252 0.240 0.232

[[3]]
[1] 0.03174603

Код

exactwelchtest (x, y)

[[1]]
[1] -2.909105

[[2]]
[1] -2.90910520 -3.12771621 -3.51153439 -1.04349839 -2.37346442 -1.77498894 -2.45287581
[8] -2.71320887 -0.76031333 -1.89337368 -1.40556386 -2.90910520 -0.83879342 -2.01905570
[15] -1.50502427 -0.96000454 -2.22387014 -1.66294052 -0.53371828 -0.21036451 -1.12946492
[22] -1.40556386 -1.55642433 -0.14002801 -1.04349839 -0.68343776 -1.66294052 -0.21036451
[29] -1.12946492 -0.76031333 -0.31664339 -1.26375113 -0.87870243 0.06994974 0.38821179
[36] -0.46051974 -1.31011711 0.03496685 -0.83879342 -0.49699792 -0.06994974 -0.96000454
[43] -0.60796735 0.31664339 0.64553873 -0.21036451 -0.14002801 -1.04349839 -0.68343776
[50] 0.24567075 0.57070110 -0.28109135 0.14002801 0.46051974 -0.38821179 0.87870243
[57] -1.83333333 -2.01905570 -0.42426407 -1.40556386 -1.00146067 -2.15319621 -0.49699792
[64] -1.50502427 -1.08615375 -0.60796735 -1.66294052 -1.21821918 -0.21036451 0.10496474
[71] -0.76031333 -1.71822619 -0.24567075 -1.17347238 -0.79933966 -0.35234428 -1.31011711
[78] -0.91909591 0.03496685 0.35234428 -0.49699792 -0.42426407 -1.40556386 -1.00146067
[85] -0.03496685 0.28109135 -0.57070110 -0.14002801 0.17515579 -0.68343776 0.57070110
[92] -0.91909591 0.35234428 -0.49699792 -0.17515579 0.24567075 -0.60796735 -0.28109135
[99] 0.64553873 1.00146067 0.10496474 0.17515579 -0.68343776 -0.35234428 0.57070110
[106] 0.91909591 0.03496685 0.46051974 0.79933966 -0.06994974 1.26375113 0.42426407
[113] -0.42426407 -0.10496474 0.83879342 1.21821918 0.28109135 0.72168784 1.08615375
[120] 0.17515579 1.60903597 0.64553873 1.00146067 0.10496474 1.50502427 1.35736936
[127] -1.35736936 -1.50502427 -0.10496474 -1.00146067 -0.64553873 -1.60903597 -0.17515579
[134] -1.08615375 -0.72168784 -0.28109135 -1.21821918 -0.83879342 0.10496474 0.42426407
[141] -0.42426407 -1.26375113 0.06994974 -0.79933966 -0.46051974 -0.03496685 -0.91909591
[148] -0.57070110 0.35234428 0.68343776 -0.17515579 -0.10496474 -1.00146067 -0.64553873
[155] 0.28109135 0.60796735 -0.24567075 0.17515579 0.49699792 -0.35234428 0.91909591
[162] -0.57070110 0.68343776 -0.17515579 0.14002801 0.57070110 -0.28109135 0.03496685
[169] 1.00146067 1.40556386 0.42426407 0.49699792 -0.35234428 -0.03496685 0.91909591
[176] 1.31011711 0.35234428 0.79933966 1.17347238 0.24567075 1.71822619 0.76031333
[183] -0.10496474 0.21036451 1.21821918 1.66294052 0.60796735 1.08615375 1.50502427
[190] 0.49699792 2.15319621 1.00146067 1.40556386 0.42426407 2.01905570 1.83333333
[197] -0.87870243 0.38821179 -0.46051974 -0.14002801 0.28109135 -0.57070110 -0.24567075
[204] 0.68343776 1.04349839 0.14002801 0.21036451 -0.64553873 -0.31664339 0.60796735
[211] 0.96000454 0.06994974 0.49699792 0.83879342 -0.03496685 1.31011711 0.46051974
[218] -0.38821179 -0.06994974 0.87870243 1.26375113 0.31664339 0.76031333 1.12946492
[225] 0.21036451 1.66294052 0.68343776 1.04349839 0.14002801 1.55642433 1.40556386
[232] 1.12946492 0.21036451 0.53371828 1.66294052 2.22387014 0.96000454 1.50502427
[239] 2.01905570 0.83879342 2.90910520 1.40556386 1.89337368 0.76031333 2.71320887
[246] 2.45287581 1.77498894 2.37346442 1.04349839 3.51153439 3.12771621 2.90910520

[[3]]
[1] 0.03174603

Сообщение отредактировал ИНО - 9.08.2025 - 18:26

[ИНО]

Один неприятный технический момент, который можно заметить в выдаче моего кода: при одинаковых вычислениях R иногда выдает результат с разной точностью, что существенно для последующего сравнения наблюдаемой величины тестовой статистики с моделируемыми. Поэтому вместо простого abstsim[2:length(abstsim)]>=abstobs, пришлось городить round(abstsim[2:length(abstsim)], digits=6)>=round(abstobs, digits=6), но это какой-то позорный костыль. Кто знает более грамотный путь, поделитесь.

[Игорь]

Удалено автором поста.

Сообщение отредактировал Игорь - 25.08.2025 - 07:25

[ИНО]

Я выложил распределение статистики. Постройте гистограмму и убедитесь, что оно абсолютно симметрична. Не уверен, что в случае с разными объемами выборок будет так же, но в данном примере так. Утверждать, будто Рунион и все известные программы неправильно считают p, и только Ваше творение правильно (да еще PAST, но он в разных версиях считает по-разному, причем не только это - сырой и непроверенный продукт на мой взгляд) - такое себе. В данном примере p будет одинаково для статистик Стьюдента, Уэлча, разности средних, Уилкоксона, поскольку зависит не от самих значений статистик, а лишь от того, какая их доля больше или равна наблюдаемому значению. Повторюсь, в случаях "упора в технический барьер", всегда будет только два экстремальных перестановочных значения тестовой статистики, на противоположных хвостах распределения. Одно будет равно наблюдаемому, второе - минус наблюдаемому. Это не зависит ни от величины различий, ни от статистики. Разве что если выбирать статистику, принимающую только положительные значения (например F, или модуль разности средних), то оба экстремальных значения съедут в одну точку.

Код

x<-c(0.18, 0.27, 0.19, 0.36, 0.43)
y<-c(0.41, 0.38, 0.73, 0.49, 0.58)

wilcox.test(x, y)

Wilcoxon rank sum exact test

data: x and y
W = 2, p-value = 0.03175
alternative hypothesis: true location shift is not equal to 0

Код

xy<-data.frame(value=c(x,y), group=as.factor(c(1,1,1,1,1,2,2,2,2,2)))
library(coin)
oneway_test(value~group, data=xy, distribution="exact")

Exact Two-Sample Fisher-Pitman Permutation Test

data: value by group (1, 2)
Z = -2.1509, p-value = 0.03175
alternative hypothesis: true mu is not equal to 0

[Игорь]

Удалено автором поста.

Сообщение отредактировал Игорь - 25.08.2025 - 07:25