Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Дисперсионный анализ, неравенство дисперсий в сравниваемых группах
Blaid
сообщение 4.09.2017 - 10:57
Сообщение #1


Дух форума
*

Группа: Пользователи
Сообщений: 20
Регистрация: 27.08.2012
Пользователь №: 24128



Здравствуйте уважаемые участники форума!

Обращаюсь к Вам, поскольку хотелось бы прояснить для себя следующую ситуацию.
Как известно (в т.ч. из довольно многочисленных обсуждений и в этой ветке форума) основными требованиями (допущениями) корректности выполнения дисперсионного анализа (в данном случае беру простейший пример - однофакторный с тремя сравниваемыми группами) являются:
1. нормальность распределения т.н. остатков дисперсионного анализа
2. равенство дисперсий во всех сравниваемых группах

Так вот, интересует пункт 2. Как "бороться" с неравенством дисперсий известно (опять же из обсуждений в этой ветке) - делать нормализующее (дисперсии или же дисперсии + нормальность распределения) преобразование (Rundom pro soft в помощь или AtteStat). Собственно вопрос:
если выявлено неравенство дисперсий в сравниваемых группах (например, с помощью критерия Бартлетта или аналогичных), то как нужно делать преобразование?
Каждую из групп нужно преобразовывать отдельно, независимо от других? Или же следует преобразовывать единую выборку, полученную объединением отдельных независимых групп?

Спасибо!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 4.09.2017 - 11:25
Сообщение #2


Дух форума
*

Группа: Пользователи
Сообщений: 1002
Регистрация: 26.08.2010
Пользователь №: 22699



Никаких "групп" не существует. Есть некие качественные признаки у каждого из сделанных наблюдений-опытов. Таким образом выборка принципиально _одна_.

Исходя из этого очевидно, что трансформации допустимы только к выборке целиком. В противном случае принципиально не обнаруживаемыми становятся эффекты связанные с дисперсией в "группах".

Лучше всего сразу проводить полноценный анализ ( https://en.wikipedia.org/wiki/Mixed_model ) который подразумевает что в выборке имеются оба типа эффектов fixed & random.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
leo_biostat
сообщение 5.09.2017 - 11:22
Сообщение #3


Дух форума
*

Группа: Пользователи
Сообщений: 66
Регистрация: 23.11.2016
Пользователь №: 28953



Blaid, hi.gif!

Цитата(Blaid @ 4.09.2017 - 10:57) *
Здравствуйте уважаемые участники форума!

Обращаюсь к Вам, поскольку хотелось бы прояснить для себя следующую ситуацию.
.......

Как "бороться" с неравенством дисперсий


Действительно, лучше всего сразу производить полноценный анализ, не ограничиваясь при этом лишь анализом Mixed Models (см. http://www.lexjansen.com/mwsug/1993/MWSUG93035.pdf ).
И использовать не 1-2 метода и критерия. А гораздо больше. Если нельзя использовать параметрический ANOVA, то используйте, например, достаточно мощный критерий Ван дер Вардена
(см. http://www.machinelearning.ru/wiki/index.p...%B5%D0%BD%D0%B0 ).

Более того, не стоит ограничиваться лишь сравнением групповых средних. Следует сравнивать и другие параметры распределений. В том числе сравнивать и дисперсии (см. http://www.biometrica.tomsk.ru/comp_aver.htm )
Однако если в этих группах сравнений нет нормального распределения, то для сравнения дисперсий следует использовать не критерий Фишера, а, например, критерии Сиджела-Тьюки и Ансари-Брэдли.
Неравенство дисперсий - это тоже ценная и полезная информация. Нужно исследовать глубже ту группу, в которой дисперсия больше. Вполне возможно, что данная группа включает в себя набор
иных подгрупп, которые и приводят в расширению интервала значений признака и росту дисперсии.

Поскольку в реальных базах данных собираются не 2 признака (один количественный и один дискретный, группирующий), а гораздо больше, то поэтому цель исследования следует достигать не одним лишь сравнением групповых средних.
Следует изучить скрытую, латентную группировку наблюдений. Именно эти скрытые группировки и могут смещать фиксированные группы в разные стороны по осям признаков.

И последнее пожелание. Если одной из основных целей всё же является оценка параметров различий основных сравниваемых групп, то следует использовать многомерные методы сравнений. Например, дискриминантный анализ. А при использовании
не только количественных признаков, но и дискретных признаков, использовать метод логистической регрессии. В этих методах можно будет упорядочить, проранжировать признаки, отобранные алгоритмами в новые осевые уравнения, по интенсивности их групповых различий.

Желаю успешных исследований!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Blaid
сообщение 5.09.2017 - 12:00
Сообщение #4


Дух форума
*

Группа: Пользователи
Сообщений: 20
Регистрация: 27.08.2012
Пользователь №: 24128



Спасибо за ответы!

Я выполнил (в пакете STATISTICA) однофакторный дисперсионный анализ (One-way ANOVA). Сравнивал несколько групп (по 8-10 наблюдений каждая). Ну, условно - контроль, воздействие 1, воздействие 2 и т.д. По результатам - нулевая гипотеза (все группы извлечены из одной и той же генеральной совокупности) отвергнута (р статистически значим). С помощью апостериорных сравнений посмотрел, какие именно группы отличаются друг от друга. Остатки модели распределены нормально. А вот дисперсии сравниваемых групп - не равны (по критерию Бартлетта). Вот и задумался...
Пока что интересует простейший случай (как указал уважаемый Василий Леонов - путём сравнения средних) в виде сравнения нескольких групп (одна независимая переменная) на предмет обнаружения различий (в виде их средних значений) между ними.
Имеет ли смысл проверять распределение в гипотетических генеральных совокупностях на выборках в 8-10 наблюдений? К вопросу об использовании критериев сравнения дисперсий, предусматривающих нормальность распределения в сравниваемых выборках.

Сообщение отредактировал Blaid - 5.09.2017 - 12:01
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 7.09.2017 - 10:55
Сообщение #5


Дух форума
*

Группа: Пользователи
Сообщений: 1002
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(leo_biostat @ 5.09.2017 - 11:22) *
И использовать не 1-2 метода и критерия. А гораздо больше.



hi.gif leo_biostat!

Одна полезная ссылка за другую полезную ссылку. smile.gif
Нашел иллюстрацию пропагандируемого тобой (в каждом из твоих советов на этом форуме) методического подхода -- https://www.explainxkcd.com/wiki/index.php/882:_Significant


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 6.10.2017 - 23:25
Сообщение #6


Дух форума
*

Группа: Пользователи
Сообщений: 1010
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Цитата(Blaid @ 4.09.2017 - 12:57) *
...
Так вот, интересует пункт 2. Как "бороться" с неравенством дисперсий известно (опять же из обсуждений в этой ветке) - делать нормализующее (дисперсии или же дисперсии + нормальность распределения) преобразование (Rundom pro soft в помощь или AtteStat). Собственно вопрос:
если выявлено неравенство дисперсий в сравниваемых группах (например, с помощью критерия Бартлетта или аналогичных), то как нужно делать преобразование?
Каждую из групп нужно преобразовывать отдельно, независимо от других? Или же следует преобразовывать единую выборку, полученную объединением отдельных независимых групп?
Спасибо!

Сначала по поводу преобразования. Преобразовывать можно и каждую группу отдельно, но только одинаковым преобразованием:) Например, квадратным корнем, логарифмом, арксинусом... Если же используются "крутые" преобразования, адаптивные к конкретным данным, типа Бокса - Кокса или Йео - Джонсона, то конечно, нужно преобразовывать весь массив с одинаковой лямбдой.

По поводу неоднородности дисперсий. Асимметрия распределения ошибки указывает на "эффект шкалы", когда мы измеряем данные одной "линейкой", а природа - другой. Для приведения их в соответствие, перед дисперсионным анализом логично использовать преобразования. Для себя я понимаю это как устранение некоего искусственного препятствия. В отличие от этого неоднородность дисперсий (НД), не устранённая преобразованием, является не искусственной, а естественной. Т.е. вполне логично, что, скажем, на начальных сроках после операции дисперсия показателя в группе высокая, а спустя полгода - низкая. С этой НД невозможно бороться, да и неправильно это будет: она свойственная данным и это наша беда, что нас интересует, как правило, только сдвиг центральной тенденции, а не плюсом - изменение рассеяния и формы распределения. Т.о. НД в дисперсионном анализе неудобна, но уж тут ничего не поделаешь.
Какие видятся варианты решения проблемы.

1. Использовать для проверки НД не критерий Бартлетта, а что получше. Известно, что критерий Бартлетта слишком часто радостно её находит. Sokal & Rohlf (Biometry) рекомедуют log-anova test. Его не найти в пакетах (может в R только..., не искал), но легко считается в любой программе, где есть обычный ANOVA.

2. Постараться в ходе преобразования не только нормализовать ошибку модели, но и выровнять дисперсии. Когда-то делал это в Rundom BC (Rundom Pro совсем неудобен для меня оказался, не осваивал...). Недавно мы её вспоминали добрым словом на форуме: http://forum.disser.ru/index.php?showtopic=4111

3. Использовать штраф по степеням свободы за несоблюдение однородности дисперсий. Т.е. использовать в однофакторном ANOVA, подход, аналогичный подходу Уэлча для t-критерия Стьюдента. Такой подход автоматом считается в пакете PAST.

4. Не заморачиваться по поводу неравенства дисперсий в самом ANOVA, а сконцентрироваться на пост-хоках. Критерию Геймса - Ховелла (Games-Howell test) НД - не помеха.

5. Использовать рандомизационный вариант ANOVA. Лучше exact permutation. Тогда вообще независимо от выполнения требований, p будет вычислено точно, а само значение F будет использоваться лишь в качестве одной из возможных статистик. Доступно почитать можно у Шитикова (Рандомизация и бутстреп). Сделать можно в R и Rundom pro.

Сообщение отредактировал nokh - 6.10.2017 - 23:30
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему