Cравнение методов Опции

[Leer]

Коллеги!

вопрос не столько практический, сколько теоретический.
Допустим, есть несколько аналогичных по задачам, но разных по структре методов - U-Манна-Уитни, t-Стюдента, ANOVA, glm+mixed models
данные удовлетворяют всем необходимым условиям.

мне интересно, какой метод будет мощнее/точнее. понятно, что при идеальных данных (как в моих условиях), результаты будут не сильно отличаться. но что будет при зашумленных? Есть ли какие-нибудь критерии и алгоритмы сравнения методов, именно аналитические? куда вообще смотреть надо?

[nokh]

Коллеги!

вопрос не столько практический, сколько теоретический.
Допустим, есть несколько аналогичных по задачам, но разных по структре методов - U-Манна-Уитни, t-Стюдента, ANOVA, glm+mixed models
данные удовлетворяют всем необходимым условиям.

мне интересно, какой метод будет мощнее/точнее. понятно, что при идеальных данных (как в моих условиях), результаты будут не сильно отличаться. но что будет при зашумленных? Есть ли какие-нибудь критерии и алгоритмы сравнения методов, именно аналитические? куда вообще смотреть надо?

Ну, общее правило общеизвестно: непараметрические методы уступают в мощности параметрическим. Это логично, т.к. параметрические критерии задействуют больше информации о данных. Асимптотическая эффективность для порядковых критериев Манна-Уитни и Краскела-Уоллиса составляет около 95% по отношению к, соответственно, t-критерию и дисперсионному анализу. Т.е. они заведомо менее мощные в случае нормального распределения. Однако столь незначительная потеря в мощности с лихвой окупается большей универсальностью. Из правил бывают исключения, например, критерий Ван-дер-Вардена не уступает по мощности t-критерию (но, возможно он и менее универсален - нужно читать).

Насколько мне известно, никаких аналитических процедур для сравнения мощности критериев не существует: это очень сложно, а полученные решения всё равно будут иметь частный характер. Куда проще проводить симуляционные эксперименты. Т.е. генерировать данные с заранее заданными свойствами (степень отклонения от нормальности, характер отклонения от номальности, процент засорения и т.п.), извлекать из них выборки и рассчитывать мощность критериев для разных условий. Потом пытаться обобщить полученные результаты в виде неких обобщающих правил. Этому посвящены узкие специальные работы, которые обычно обобщают авторы обзорных статей и учебников, но которые не особо интересуют практиков.

[Leer]

Насколько мне известно, никаких аналитических процедур для сравнения мощности критериев не существует: это очень сложно, а полученные решения всё равно будут иметь частный характер. Куда проще проводить симуляционные эксперименты. Т.е. генерировать данные с заранее заданными свойствами (степень отклонения от нормальности, характер отклонения от номальности, процент засорения и т.п.), извлекать из них выборки и рассчитывать мощность критериев для разных условий. Потом пытаться обобщить полученные результаты в виде неких обобщающих правил. Этому посвящены узкие специальные работы, которые обычно обобщают авторы обзорных статей и учебников, но которые не особо интересуют практиков.

Значит, симуляции...спасибо. Видимо, это единственный вариант.
у меня как раз очень узкая и, в основном, аналитическая задача - как раз для обзорной статьи или подобных текстов.
Данные одного типа экспериментов (время реакции) - там полный разнобой со стимулами, всегда стоит проблема ненормальности и выбросов. То есть, это сначала надо будет исследовать эмпирические данные - определять параметры распределения и строить модель, на основе которых уже делать симуляцию. Как раз сложность определения параметров из-за выбросов и смешивает все карты.

а не подскажете, где и что почитать по симуляционным экспериментам?