Уважаемые коллеги, помогите, пожалуйста, разобраться какой критерий использовать. У меня есть несколько групп данных. Есть контроль (n=10), и еще несколько групп, в 5 из них n=10, в четырех n=6. Все группы независимые, и все группы необходимо сравнить с контролем. просмотрев большой массив литературы, прихожу к выводу что нужно использовать U критерий Манна-Уитни. Встречаются достоверные различия. Пробовал Краскела_Уоллиса, с поправкой на Данна (пользуюсь Graphpad prizm) уже различий не наблюдаю. Не могли бы вы подсказать, что все-таки мне правильней использовать в данном случае. И еще смотрел, что нужно проводить доп. Исследования по определению нормальности расрпеделения, но если верить книгам то при малых выборках все равно используется непараметрика и тогда есть ли смысл в каких-то предварительных анализах? Заранее благодарю за помощь. Новичок в деле статистики.

Вы очень специфическую программу купили.

В данном случае попробовал бы критерий рандомизации компонент Фишера (см. книгу Руниона). Но в описании Вашей программы его нет.

А тест Мэнна-Уитни тут не пойдет, несколько групп, значит надо использовать Краскела-Уоллеса. Нет различий, значит нет различий. Это, возможно, плата за желание использовать непараметрику и незнание собственных данных (как в реальности они распределены). Если бы Вы почитали форум, то знали бы, что именно на малых выборках потеря мощности из-за выбора непараметрики становится важным фактором, т.е. утверждение, что при малых выборках надо использовать непараметрику просто ошибочно.
А вообще-то то, что Вы описываете очень напоминает простой дисперсионный анализ, который нужно смотреть вкупе со спланированными контрастами (тест Dunnett)

Вот такие соображения (прошу прощения - немного провокационные).

Автор имеет одну контрольную группу, а также несколько групп (выборок), соответствующих различным методам воздействия. Пусть автор применяет для обработки всего массива данных дисперсионный анализ или аналогичный метод. Статистика критерия при этом и p-значения или p-значения зависят от данных всех выборок.

Теперь предположим, что были сделаны не все эксперименты, а часть из них. При обработке будет получена другая статистика критерия и другие p-значения.

Возникает вопрос, каким образом отсутствующие эксперименты могут повлиять на результат и не нужно ли здесь ограничиться попарным сравнением экспериментальных выборок с контролем?

Так вся статистика посвящена спланированным экспериментам! Если сделаны "не все эксперименты" это означает серьезные отклонения от протокола, их надо объяснять, вносить изменения в протокол и т.д. (по крайней мере так делается в нормальной науке). Соответственно, так легко "не сделать" все эксперименты не получится.
Какова альтернатива? Если неизвестно, какие эксперименты "получатся", а какие нет, то можно отказаться от оценки суммарной дисперсии и пойти на оценку дисперсии по группам и, соответственно, попарным сравнениям. Поскольку теперь омнибусный тест "а есть ли хоть одна группа отличная от остальных" не используется, то аналитик влетает в проблему множественных сравнений или завышения вероятности ошибки I типа. Единственным методом, который при коррекции уровня ошибки I типа не использует полную экспериментальную дисперсию (experiment-wise error rate) является, насколько мне известно, метод Бонферрони. Иными словами, аналитик просто делит предельный экспериментальный уровень ошибки I типа на возможное количество сравнений. Таким образом он резко повышает вероятность ошибки II типа, но тут уж ничего не поделаешь.
Теперь вернемся к исходной задаче. Группы и так маленькие. Отказ от определения полной экспериментальной дисперсии приведет к потере мощности исследования, а использование попарного сравнения еще больше "вздует" ошибку II типа. Соответственно в данном случае попарные сравнения окажутся наихудшим вариантом с точки зрения получения достоверных результатов.
Если же группы очень большие, то тогда некоторая потеря мощности от использования попарного сравнения (внутри/попарная дисперсия + поправка Бонферрони) не приведет к значительному увеличению ошибки II типа и такой подход вполне возможен. Собственно, всякие методы data mining'а и базируются на том, что при очень больших выборках можно отказаться от некоторых теоретических сложностей спланированных экспериментов... но при очень больших...

В данной ситуации я бы попробовал 2 анализа:
1). Обычный критерий Краскела-Уоллиса с последующими post-hoc сравнениями. Формулы для апостериорных сравнений несложные; со ссылкой на Коновера есть здесь: http://www.brightstat.com/index.php?option...mp;limitstart=1
Но эти сравнения имеет смысл делать только после обнаружения значимых различий в тесте Краскела-Уоллиса.
2). Не знаю насколько это корректно, но сам пару раз пользовался именно для малых групп: обычный дисперсионный анализ, но с предварительно преобразованными по Боксу-Коксу данными. Нормализующий вариант этого преобразования есть в пакете AtteStat (http://attestatsoft.narod.ru/index.htm), а вариант с компромиссом нормализации и увеличения однородности дисперсий в группах есть в также бесплатной программке Rundom Box-Cox (выкладывал архив и пример использования на форум, старшую версию пакета см. здесь: http://pjadw.tripod.com/). В принципе, это - лучшее что мы можем сделать с данными, чтобы приблизить их к требованиям модели дисперсионного анализа. Причём при таком подходе мы не только используем всю мощь(ность) параметрической техники, но и уменьшаем ошибку анализа (внутрирупповую дисперсию). Сомнения в корректности не технические, а общефилософские: насколько оправдано пускаться в преобразования на основе очень малых выборок из популяций, про которые мы ничего толком не знаем.

Также читал, что в таких случаях можно использовать рандомизационный вариант дисперсионного анализа, но по нему ничего не подскажу.

Если метод Бонферрони в широком смысле - то да, а в узком - нет: есть менее консервативные последовательные его модификации: Dunn-Šidak, Holm's, Simes-Hochberg, Hommel's methods.

ну у каждого метода есть модификации, мы говорим дисперсионный анализ, а зачастую используем его вариант, являющийся регрессионным. Тут важно, какая идея лежит в основе метода. Так, например, Dunn-Šidak не что иное как точная оценка уровня \alfa для попарных сравнений которая может быть аппроксимирована, аналогично методу Бонферрони (если использовать разложение разности двух величин в степени в ряд), метода Holm вообще стартует с обычного правила Бонферронни, метод Hochberg'а (базирующийся на методе Simes) обращает метод Holm'а (делая дополнительные допущения). Что же касается метода Hommel (базирующегося на идеях теста Schaffer), то он базируется на логическом упорядочивании гипотез и определении, сколько гипотез могут быть справедливы (вместо всех возможных попарных сравнений), однако подход все равно базируется на идее теста Бонферрони (статья Хоммеля называется "Пошаговая процедура отклонения при множественных тестах, базирующаяся на модифицированном тесте Бонферрони"). При этом тесты Сидака, Хоммеля и Хохберга не всегда удерживают уровень общеэкспериментальной ошибки (\alfa).
На самом деле, они все не решают основной проблемы множественного сравнения. Представьте себе, что у нас есть две группы, пришедшие из разных популяций и для них р=0,04. Теперь предположим, что мы, не зная про это, добавляем еще несколько групп и сравниваем их, получая следующие значения р - 0,08; 0,10; 0,50
Используя процедуру Бонферрони мы должны признавать достоверными только различия с р=0,05/4=0,0125, поэтому мы заключаем, что все группы пришли из одной популяции и делаем ошибку второго типа
Используя метод Холма мы получаем тот же результат, поскольку наименьшее р (0,04) все равно больше 0,05/4
Используя метод Хохберга мы получаем тот же результат, поскольку двигаясь от наибольшего р (0,50) мы доходим до наименьшего, которое все равно больше 0,05/4
Иными словами, чтобы мы не делали, мы совершим ошибку второго типа. И чаще всего это будет платой за неумение планировать эксперимент и нежелание заранее решить, какие сравнения заслуживают изучения (я сейчас не говорю о легитимных множественных тестах, например повторное тестирование в клинических испытаниях).

на самом деле в моем предшествующем посту есть более серьезная (хотя и осознанная) неточность - само разделение метода Бонферрони и других методов на основе используемой дисперсии неверно. Во всех описанных выше тестах не обсуждается, как проводилась оценка дисперсии для расчета р (требуется только отсутствие "встроенной" коррекции множественного тестирования). Соответственно никто не мешает использовать суммарную дисперсию для расчета р (как, например, это проиллюстрировано у Гланца) и затем использовать вышеописанные тесты. Однако (отсюда осознанность) большинство рассматривают тест Бонферрони как способ анализировать серию попарных t-тестов и он это позволяет, с чем было и связано мое высказывание выше. Точнее фраза должна быть "методом, который может не использовать общеэкспериментальную дисперсию".

Спасибо за советы, буду дальше разбираться со статистикой.