Достоверность Опции

[p2004r]

А доверительный интервал бутсрепом для разности медиан на таких данных таки да смахивает на шаманство. Убогие данные нужно отправлять на доработку, т.е. нужно материал набирать, чтобы было что обобщать. Медианы могут не различаться, а ранговые критерии могут показать, что различия статистически значимы.

ну ну... медианы значит не отличаются? давайте проверим.

Код

> x<- rnorm(14, mean=10, sd=3)
> y<- rnorm(14, mean=14, sd=3)
> wilcox.test(x,y)

    Wilcoxon rank sum test

data:  x and y
W = 17, p-value = 5.973e-05
alternative hypothesis: true location shift is not equal to 0

> quantile(replicate(10000,{median(sample(x,replace=T))-median(sample(y, replace=T))}), probs=c(0.025,0.975))
     2.5%     97.5%
-7.852886 -2.356706
> quantile(replicate(10000,{median(sample(x,replace=T))-median(sample(y, replace=T))}), probs=c(0.025,0.975))
     2.5%     97.5%
-7.960661 -2.496009

# попробуем различить разницу средних в 1
> y<- rnorm(14, mean=11, sd=3)
> quantile(replicate(10000,{median(sample(x,replace=T))-median(sample(y, replace=T))}), probs=c(0.025,0.975))
     2.5%     97.5%
-3.435269  2.403256
> quantile(replicate(10000,{median(sample(x,replace=T))-median(sample(y, replace=T))}), probs=c(0.025,0.975))
     2.5%     97.5%
-3.646714  2.342995
> wilcox.test(x,y)

    Wilcoxon rank sum test

data:  x and y
W = 82, p-value = 0.4824
alternative hypothesis: true location shift is not equal to 0

# разница средних в двойку
> y<- rnorm(14, mean=12, sd=3)
> quantile(replicate(10000,{median(sample(x,replace=T))-median(sample(y, replace=T))}), probs=c(0.025,0.975))
      2.5%      97.5%
-5.2140838 -0.2325372
> wilcox.test(x,y)

    Wilcoxon rank sum test

data:  x and y
W = 44, p-value = 0.01225
alternative hypothesis: true location shift is not equal to 0

могу для нескольких тысяч выборок померить

Код

> myboot<- function() {y<- rnorm(14, mean=12, sd=2); x<- rnorm(14, mean=10, sd=3); quantile(replicate(50000,{median(sample(x,replace=T))-median(sample(y, replace=T))}), probs=c(0.025,0.975))}
> res<-t(replicate(10, myboot()))
> res
           2.5%       97.5%
[1,] -3.104478  0.14690058
[2,] -6.622822  0.05973764
[3,] -6.067967  0.96743764
[4,] -3.457648  0.26662474
[5,] -3.285487 -0.16331415
[6,] -4.390996  0.06133141
[7,] -4.249600  0.09326860
[8,] -4.590740  1.95287078
[9,] -3.746031  2.56287750
[10,] -4.196681  1.75849708

> mybootwilk<- function() {y<- rnorm(14, mean=12, sd=2); x<- rnorm(14, mean=10, sd=3); wilcox.test(x,y)$p.value}
> median(replicate(10000, mybootwilk()))
[1] 0.05561668
> median(replicate(10000, mybootwilk()))
[1] 0.05561668
# уточняем p

> myboot<- function() {y<- rnorm(14, mean=12, sd=2); x<- rnorm(14, mean=10, sd=3); quantile(replicate(50000,{median(sample(x,replace=T))-median(sample(y, replace=T))}), probs=c(0.0275,1-0.0275))}
> res<-t(replicate(10, myboot()))
> res
          2.75%     97.25%
[1,] -4.098519  1.7192591
[2,] -3.987215 -0.6221029
[3,] -4.101456  1.8097771
[4,] -5.788873 -1.1529228
[5,] -3.936034  0.9987194
[6,] -5.046146  0.5629243
[7,] -4.713068  0.9795264
[8,] -6.540963 -2.9175392
[9,] -5.028686 -1.4414632
[10,] -4.000477 -0.1035011

вполне себе совпадает мощность теста рангового с мощностью бутстрепа разности медиан.

[DrgLena]

Давайте конкретно, я пишу, что медианы могут совпадать, но это не значит, что нет различий в группах. Например, есть две группы с оценками 1,2,3 балла.
1 гр. n=10 ( 1 балл у 9 больных и у одного 2 балла) ? итог лечения, например
2 гр. n=7 (1 балл у 4 больных и у трех больных 3 балла)

Вы сможете сделать вывод, что эффективность лечения в двух группах одинакова ? 1 ? полное выздоровление, 3 ? инвалидность. Это к примеру, я не знаю, что они баллами обозначают. Я представила все данные, в которых есть максимальная информация для читателя. Да, медианы совпадают, но рецензент на основании этого не должен соглашаться с выводом автора, что методики по эффективности лечения одинаковы.
Или, диссертант хочет доказать, что эффективность первой методики выше? Тогда, перебирая непараметрические критерии в любой программе можно найти критерий Уалда-Вольфовица, по которому есть желанное р<0,05 , правда он может не знать, что данный тест не пригоден для переменных с малым числом категорий. Что же должен делать рецензент?

[p2004r]

Давайте конкретно, я пишу, что медианы могут совпадать, но это не значит, что нет различий в группах. Например, есть две группы с оценками 1,2,3 балла.
1 гр. n=10 ( 1 балл у 9 больных и у одного 2 балла) ? итог лечения, например
2 гр. n=7 (1 балл у 4 больных и у трех больных 3 балла)

Вы сможете сделать вывод, что эффективность лечения в двух группах одинакова ? 1 ? полное выздоровление, 3 ? инвалидность. Это к примеру, я не знаю, что они баллами обозначают. Я представила все данные, в которых есть максимальная информация для читателя. Да, медианы совпадают, но рецензент на основании этого не должен соглашаться с выводом автора, что методики по эффективности лечения одинаковы.
Или, диссертант хочет доказать, что эффективность первой методики выше? Тогда, перебирая непараметрические критерии в любой программе можно найти критерий Уалда-Вольфовица, по которому есть желанное р<0,05 , правда он может не знать, что данный тест не пригоден для переменных с малым числом категорий. Что же должен делать рецензент?

А что делать? Все не значимо, даже для таких вырожденных случаев. Просто чуть сложнее доверительный интервал оценивать приходится. Вот тремя способами оценка получена, во всех трех интервалы взаимопоглощаются -> на уровне значимости 0.95 отличий нет.

Код

> library(boot)
> my.median<-function(data,i) median(data[i])
> x<-c(rep(1,9),2)
> boot.ci(boot(x, my.median,R=100000), conf=0.95, type = c("norm", "basic", "perc"))
BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
Based on 100000 bootstrap replicates

CALL :
boot.ci(boot.out = boot(x, my.median, R = 1e+05), conf = 0.95,
    type = c("norm", "basic", "perc"))

Intervals :
Level      Normal              Basic              Percentile    
95%   ( 0.9538,  1.0444 )   ( 1.0000,  1.0000 )   ( 1.0000,  1.0000 )  
Calculations and Intervals on Original Scale
> y<-c(rep(1,4),rep(3,3))
> boot.ci(boot(y, my.median,R=100000), conf=0.95, type = c("norm", "basic", "perc"))
BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
Based on 100000 bootstrap replicates

CALL :
boot.ci(boot.out = boot(y, my.median, R = 1e+05), conf = 0.95,
    type = c("norm", "basic", "perc"))

Intervals :
Level      Normal              Basic              Percentile    
95%   (-1.5491,  2.1744 )   (-1.0000,  1.0000 )   ( 1.0000,  3.0000 )  
Calculations and Intervals on Original Scale

Сообщение отредактировал p2004r - 17.04.2013 - 15:11

[DrgLena]

А какой смысл городить ДИ к абсолютно равным медианам? Нужно просто показать, на каком уровне значимости имеются различия, пусть будет больше 5%, как, например, дает анализ таблицы сопряженности для этих данных. Но делать вывод о равенстве двух методик нельзя. В данном случае меня устроит вывод, что выялены различия в этих убогих группах только на 6% уровне. Но, если увеличить выборки, удвоив каждую (при таких же оценках), то получится оценка хи кв р=0,004. А это значит, что нужно данные добирать, а не делать неверные выводы на основании того , что медианы равны. Могу ошибаться...

[p2004r]

для того чтобы сделать такие выводы достаточно провести оценку по ожидаемой величине эффекта _до_ исследования. а все эти до исследования очень нехорошо. некоторые вон заставляют "достоверный" эксперимент дважды проводить. кстати классное требование, раз просто отстреливать "тестировщиков" не разрешают

[DrgLena]

для того чтобы сделать такие выводы достаточно провести оценку по ожидаемой величине эффекта _до_ исследования.

Согласна, а потому подобные работы можно рассматривать только, как предварительные, на основании который и можно планировать проведение клинических испытаний, рассчитав необходимое число наблюдений.

[anserovtv]

Татьяна, подскажите и мне . Если необходимо сравнить 2 группы по бальным шкалам между собой ( 1 мин, 3 макс) и изза малой выобрки ( n=11,12) мы можем использовать только непараметр критерии- то есть медиану и квартили,но в программе статистика выходят какие то очень кривые данные, можем ли мы как то еще их сравнить?

Если я правильно понял, бальные шкалы - это категории /номинативная переменная / и их ровно 3.
Для сравнения групп нужно использовать критерий хи-квадрат для таблиц сопряженности /сравнение распределений/ , одна из переменных - группирующая.При этом в SPSS будут генерированы и кластеризованные столбиковые диаграммы.Такие методы применяются часто в психологии.Таблица будет иметь размерность 2 на 3 или наоборот.
Если переменные непрерывны, то применяется двухвыборочный критерий Колмогорова-Смирнова для независимых выборок.