Критерий Краскела-Уоллиса, использование критерия в программе Statistca Опции

[плав]

Что-то диалог затянулся... Но все-таки повторюсь,
1) Утверждать, что в том случае, если распределение не нормальное можно пользоваться непараметрикой (понимая под этим раногвые критерии) ошибочно. В случае неравенства дисперсий речь чаще всего идет о выборке из смешанного распределения на котором "непараметрические" критерии врут так же, как и параметрические (спасение - использование винзоризированных или обрезанных средних с методами boostrapping, см Wilcox. Applying Contemporary Statistical Techniques). Соответственно, в Вашем случае непараметрика ни от чего не защищает.
2) Оба диалога кажутся неубедительными, поскольку за люым из них следует убийственный аргумент "А как Вы вообще могли считать показатели средней тендеции, если Вы ничего не знаете о своей популяции - вполне возможно, что у Вас популяция состоит из 10 разных групп, из кажой из которых Вы взяли по одному образцу и теперь считаете среднюю (медианную) температуру по больнице". 4 наблюдения могут быть репрезентативными в случае высокогомогенной популяции (лампочки, произведенные в одну смену), а 100 могут быть нерепрезентативными (выборка из популяции людей разного пола в возрасте от 0 до 100 лет). Что касается экспериментальной медицины - не согласен, там выборки часто бывают большими или популяция гомогенной (клеточные линии) - тогда и 4 наблюдения репрезентативны (для данной клеточной линии).
3) насчет вопросов - на самом деле все можно, и разность считать и отношения - только вот интерпретировать их так же как средние нельзя (просто нарисуйте сильно скошенное распределение, отметьте там медиану и другое, скошенное в противоположную сторону, а потом попробуйте проинтерпретировать результаты, что следует из того, что медиана на 100 единиц выше во втором случае? при этом 75% значений в группах перекрываются? моды близки? и т.п.) Большинство людей, описывая свои данные предполагают, что они имеют дело с симметричным распределением... Расчет доверительных интервалов для медиан дело, в принципе, не сложное. Надо найти таблицу биноминальных распределений (используется для критерия знаков) и определить те значения, которые соответствуют 2.5% и 97.5% всех случаев для данного числа испытаний. Это порядковые номера в отсортированном списке значений. Например, для 10 наблюдений пограничные значения составляют 2 и 9, соответственно нижняя границу ДИ - второе значение, верхняя - 9 (т.е. в последовательности 1 2 3 3 3 4 4 4 5 6) 95% ДИ для медианы составит 2-5. Расчет для разностей сложнее, особенно, если это не связанные совокупности. В качестве варианта можно воспользоваться boostrap-оценками. Тут придется писать программу в какой-нибудь из систем статистической обрабоки (пример в SAS, но для средних описан в Плавинский С., Биостатистика, стр. 220-223), для медиан надо просто заменить ключевое слово MEAN на MEDIAN (если версия SAS больше 8)), другие примеры можно найти у уже упоминавшегося Wilcox. Кстати, boostrap с t-критерием вообще лучшее решения для Вашей проблемы (по крайней мере наиболее современное), по крайней мере это показал Wilcox в своей работе (правда, может потребоваться работать с винзоризированными средними и надо достаточно хорошо знать программирование в какой-нибудь статистической системе, у Wilcox это S/R)

[ivan]

Большое Вам спасибо за развернутый комментарий и ответы на вопросы! Вы мне очень помогли! )
Раздобыл SAS, "Биостатистику" Плавинского С.Л. - пытаюсь разобраться в этой системе...
С уважением,

[ivan]

to плав:

Как Вы считаете, нужно ли (если да, то зачем?) в тексте диссертации и таблицах, помимо точного значения Р, указывать еще и вычисленное значение критерия, или P достаточно?

Каким образом можно рассчитать чувствительность (1-бета) для критерия Краскела-Уоллиса, Манна-Уитни (U) и Уилкоксона (W)? Дело в том, что я не получил стат. значимых различий и хотел бы проверить, какова при этом была чувствительность методов в моем случае.

Чем отличается критерий Стьюдента в аппроксимации Саттервайта от Стьюдента в аппроксимации Кокрена?
Как потребовать Стьюдента-Кокрена в SAS?

[плав]

1) лучше - только точные значения р (значение статистики - избыточная информация в данном случае)
2) макро UnifyPow в SAS (описано в Биостатистике), возможности и пример http://www2.sas.com/proceedings/sugi22/STATS/PAPER287.PDF
либо программа Nquery версии 5. PROC POWER позволяет сделать анализ мощности ttest
можно также найти Noether, GE (1987). Sample size determination for some common nonparametric tests. JASA 82:645-647.
Либо компьютерной стимуляцией (с непараметрикой есть проблема - а какое было распределение? для каждого результаты будут немного разные. Ориентировочно МУ - 0,955 от t-теста). Судя по ранее обсуждавшемуся количеству наблюдений - чувствительность низкая
3) опция Cochrane в proc ttes:
PROC TTEST COCHRAN DATA=smoking;
CLASS west;
VAR kidney;
RUN;

Тест Кохрана-Кокса (Cohran-Cox) использует аппроксимацию t-значения (t=(w1*t1+w2*t2)/(w1+w2), где t1 и t2 - критические значения t-распределения при численности выборок n1 и n2, w1=s1^2/n1, w2=s2^2/n2
Тест Саттервайте (Satterthwaite) модифицирует количество степеней свободы: df=(w1+w2)^2/(w1^2/(n1-1)+w2^2/(n2-1))
Детали тут
http://v8doc.sas.com/sashtml/stat/chap67/sect16.htm

[ivan]

to плав:

Мне необходимо сравнить средние трех независимых групп. Распределение во всех группах нормальное, т.е. в принципе можно было бы воспользоваться параметрическим однофакторным дисперсионным анализом. Однако в книжке О.Ю. Реброва "Статистический анализ медицинских данных" написано, что обязательным условием применимости данного статистического метода является не только нормальное распределение в группах, но и равенство дисперсий всех сравниваемых групп (т.е. те же два условия, что и для критерия Стьюдента). В то же время в книжке С. Гланца о необходимости равенства дисперсий ничего не говорится - обязательно только нормальное распределение (о равенстве дисперсий речь идет только в главе, где описывается критерий Стьюдента).
Скажите, пожалуйста, кому верить? Обязательно ли должны быть равны дисперсии в группах для применения параметрического дисперсионного анализа?

И еще одно противоречие: у Реброва написано, что для применения парного критерия Стьюдента требуется нормальное распределение и равенство дисперсий сравниваемых групп, а у Гланца написано, что для применения парного критерия Стьюдента важно лишь нормальное распределение разностей пар. Я запутался...

[плав]

При неравенстве дисперсий можно пользоваться t-тестом для случая неравных дисперсий (это же подробно обсуждалось выше!), хотя формулы уже иные, так что Реброва, в принципе, права, и Гланц, в принципе, прав
Дисперсионный анализ переносит небольшие отклонения от нормальности распределения и неравенство дисперсий, однако он с трудом переносит неравенство дисперсий при разной численности групп. Соответственно, необходимо проверить гипотезу о равенстве дисперсий (делается это обычно при помощи теста Левена (Leven), поддерживаемого SAS и SPSS (возможно и другими программами), хотя можно использовать и другие). Тесты этого типа "работают" только в случае диперсионного анализа с одним фактором (Ваш случай)
Если дисперсии не равны - необходимо использовать специальные варианты дисперсионного анализа - либо тест Уэлша (Welsh), либо методику взвешенны средних квадратов.
SAS позволяет реализовать все эти возможности, при этом процедура MIXED позволяет анализировать ситуацию неравных дисперсий без дополнительного программирования. Детальное описание подходов см. http://www.uoregon.edu/~robinh/glm10_homog_var.txt
Однако позволю себе еще раз привлеь внимание к опасности определения популяционных параметров (дисперсии) на основании выборки словами Дж.Бокса "Использование [этих тестов] равноценно попытке отправить из порта шлюпку, чтобы на ней посмотреть, достаточно ли спокоен океан для выхода круизного лайнера"

[ivan]

to плав:

Как Вы считаете, можно ли использовать для попарного сравнения трех групп между собой тест Ньюмена-Кейлса, если известно, что дисперсии в этих группах не равны?

Почему при вычислении P с помощью одного и того же критерия, но при использовании различных стат. пакетов, в частности Statistica 6.0 и SAS 9, получаются разные числа: например, при использовании критерия Левена в Statistica 6,0 P = 0,007, а в SAS 9 (при тех же самых исходных данных) - 0,092. Таких примеров много. Чему верить?

[плав]

Нет, нельзя, post hoc тесты аналогичные Н-К требуют равных дисперсий. Если Вы убеждены, что в популяции дисперсии не равны, используйте методику, описанную в разделе 6 ссылки, которую я давал в предыдущем ответе. Код SAS
ODS OUTPUT DIFFS=dfs(drop=effect alpha);
ODS EXCLUDE diffs;
PROC MIXED DATA=new;
CLASS group grp; * кодировка grp=0 для переменной group=1 & 2;
* grp=1 для group=3;
MODEL y= group / solution ddfm=satterthwaite;
REPEATED / group=grp; * анализ модели с неравной дисперсией, коррекция по Саттервайте;
LSMEANS group / diff ADJUST=simulate(seed=92953) cl;
RUN;
Столбец adjp и будет содержать значения достоверности попарных различий

Теперь по поводу различий между Statistica и SAS. Различия такого размера в двух приличных статистических программах быть не могут. Либо сравнивается что-то не то, либо - что более вероятно, ошибка в данных. Поскольку ввод и управления данными в SAS нескольку сложнее, я бы начал проверять правильность ввода и кодирования данных в SAS. Теперь просьбы - если будут еще вопросы по соотношению SAS и Statistica - создать новую тему, эта уже стала очень большой и уходит от первоначального вопроса

[ivan]

to плав:
У меня возникли трудности при оформлении использованных методов стат. обработки.
Если групп две при нормальном распределении и равных дисперсиях - критерий Стьюдента.

Если групп две, распределение нормальное, но неравны дисперсии - критерий Стьюдента в аппроксимации Саттертвайта.

Если групп несколько, нормальное распределение и равные дисперсии - однофакторный дисперсионный анализ, далее тест Ньюмена-Кейлса для попарных сравнений.

Если групп несколько, нормальное распределение, но дисперсии не равны - однофакторный дисперсионный анализ в аппроксимации Уэлча. А как правильно по-русски назвать post hoc тесты, которые можно использовать в этой ситуации, о которых Вы говорили в предыдущем ответе? (По автору или ещё как-то?)
Извиняюсь за дилетантские вопросы.

[ortoped74]

Господа, хочу поблагодарить участников разговора.
Не предполагал, что мой вопрос о критерии Краскела-Уоллиса инициирует обсуждение возможностей и правил применения параметрических и непараметрических критериев.
Следя за разговором, выяснил параллельно и другие волнующие меня вопросы.

[Vitek_22]

Подскажите, а Statistica от Статсофта считает критерий Данна? Критерий Краскела-Уоллиса нашёл и посчитал (у меня 8 версия), а Данна не могу найти. Не может ведь быть такого, чтоб не включили его, учитывая цену ПО. Может он как-то по другому называется?
И ещё хотел спросить, как правильно в статье сослаться на результаты расчёта Краскела-Уоллиса и Данна, нет ли у кого ссылочки на статью (желательно англоязычную) с их использованием?? Думаю что просто указать p явно мало...

[nokh]

Подскажите, а Statistica от Статсофта считает критерий Данна? Критерий Краскела-Уоллиса нашёл и посчитал (у меня 8 версия), а Данна не могу найти. Не может ведь быть такого, чтоб не включили его, учитывая цену ПО. Может он как-то по другому называется?
И ещё хотел спросить, как правильно в статье сослаться на результаты расчёта Краскела-Уоллиса и Данна, нет ли у кого ссылочки на статью (желательно англоязычную) с их использованием?? Думаю что просто указать p явно мало...

Критерий Данна в пакете есть, но к сожалению только он один. Он находится в том же модуле, что и Краскел-Уоллис, только кнопкой ниже - Multiple comparison of mean ranks... То, что это и есть критерий Данна в пакете нигде не написано, но в помощи даётся ссылка на Siegel, Castellan, 1988 и формула, по которой и можно это определить. Этот критерий был предложен Данном (Dunn, 1964) ещё в 1964 г, однако распространение получил после 1988 г, - имеено после того, как был приведён в книге Сьегля и Кастеллана (Siegel S., Castellan, N. J. Jr. Nonparametric statistics for the behavioral sciences (2nd ed.). New York: McGraw-Hill, 1988, 399 p.) и потому в некоторых работах необоснованно называется их именами (Siegel-Castellan test). Это эффективный, но отчасти консервативный метод. Насколько он хорош на практике не знаю, т.к. для парных сравнений внутри критерия Краскелла-Уоллиса смотрю результаты двух других тестов: (1) Критерий Коновера-Инмана - самый либеральный тест, полный ранговый аналог критерия LSD Фишера и (2) критерий Стила-Двасса - наиболее строгий тест, полный ранговый аналог критерия HSD Тьюки (обоих в Statistica нет).
Я считаю, что H-критерий нужно приводить со значением, степенями свободы и р, а для попарных сравнений вполне достаточно указать только р. Ссылки можно найти поисковиками по названию работы Данна:
Dunn O.J. Multiple comparisons using rank sums // Technometrics. 1964. ? 6. P. 241-252.

Сообщение отредактировал nokh - 8.12.2012 - 23:23

[Vitek_22]

Спасибо. Вот они извратились, а я ищу его... ищу! Сейчас воспользовался. Возник ещё 1 уточняющий вопрос. У меня 3 группы (1 контроль и 2 эксперимента). Краскела-Уоллиса критерий показал значимые различия. теперь с помощью критерия Данна надо попарно сравнивать или все 3 группы сразу? попробовал и так и так - разный результат получается

[nokh]

Спасибо. Вот они извратились, а я ищу его... ищу! Сейчас воспользовался. Возник ещё 1 уточняющий вопрос. У меня 3 группы (1 контроль и 2 эксперимента). Краскела-Уоллиса критерий показал значимые различия. теперь с помощью критерия Данна надо попарно сравнивать или все 3 группы сразу? попробовал и так и так - разный результат получается

Конечно, все 3 разом раз критерий специальный для множественных сравнений. Только так получается выигрыш в мощности сравнений при удержании общего уровня значимости на фиксированном значении (например, 0,05). Иначе нужно вводить поправки на множественность сравнений типа Бонферрони, но мощность всё равно снизится.

[Rojd]

Пожалуйста,помогите рассудить спор: обследовано 2 группы пациенток по 40 человек. В каждой группе всем пациенткам 3 раза за беременность изучали параметры АД (непараметрика). Для выявления различий между уровнями АД в 20, 30 и 36 недель беременности необходимо применять тест М-У. А рецензент делает замечание о необходимости применения Н критерия Крускала Уоллиса для сравнения АД между группами согласно срокам беременности.Разве он прав?