Трансформация Бокса-Кокса Опции

[fruitfly]

Здравствуйте,
Ситуация: есть данные по шести экспериментальным группам. Хочу сделать АНОВУ, знаю что для этого данные должны быть нормально распределены. Вопрос такой: Как смотреть распределение (1) у всех групп по отдельности или (2) у всех групп вместе. Если (1) у 5 групп нормально распределены а у одной нет. Что делать. Что такое Cox-Box трансформация. Как ее сделать. Правда ли что это самая мощная трансформация?

[Игорь]

Поизучал немного источники по данной новой для себя теме. Ну вот, оказалось все так.

>Сходный с представленным выше Плавом алгоритм Заребки нашел тоже в C. Dougherty. Introduction to Econometrics (видно издание другое стр. 167 и без вывода формул): http://www.iaaeg.de/documents/kapitel_5.pdf .Только там не максимизируется коэффициент корреляции x и y, а минимизируется сумма квадратов отклонений от линейной регресии x и y, что аналогично.

Есть русское издание "Доугерти К. Введение в эконометрику. - М.: ИНФРА-М, 1999". Причем даже в Сети

В моем примере преобразование Бокса-Кокса использовалось для другой цели - нормализации распределения (в одной выборке). Если будете разбираться с алгоритмами, подскажите, пожалуйста, автора алгоритма в примере. Встречал также третью разновидность преобразования - программную реализацию алгоритма Б-K с одновременной оптимизацией нормальности и однородности дисперсий (для случая нескольких выборок) в бесплатной программе Rundom-BC: http://pjadw.tripod.com/legacy.htm#j2. Мой ручной расчет совпадает с выдаваемым этой программой для одновыборочного случая (не SAS, конечно, но тоже приятно ).

Алгоритм практически из статьи Бокса-Кокса "Box G.E.P., Cox D.R. An analysis of transformations // Journal of Royal Statistical Society: Series B (Statistical Methodology), 1964, vol. 26, no. 2, pp. 211-246" с той разницей, что, в отличие от примера, в оригинале (в формуле для логарифмической функции максимального правдоподобия) нет умножения на "ню" (смысл? - разве если не игнорировать константу - вот здесь полная версия ФМП: http://projecteuclid.org/euclid.lnms/121546484) и на n не делится второе слагаемое, а умножается первое. Собственно, для максимизации ФМП все это не имеет никакого значения.
Поиск оптимальной лямбды перебором неэффективен. Можно использовать любой метод оптимизации. Хотя бы метод деления отрезка пополам.

Наверное, неплохо бы сделать и еще ряд преобразований. Хотя бы гиперболический арксинус, который, в отличие от Бокса-Кокса, может производить преобразование не только положительных, но и любых данных. ФМП для гиперболического арксинуса имеет другой вид, нежели для Бокса-Кокса. Для Бокса-Кокса - это кривая типа параболы. Для гиперболического арксинуса - две кривых, симметричных относительно нуля. Лямбда для Бокса-Кокса в наших экспериментах всегда была в интервале от -2 до 2. Для гиперболического арксинуса лямбда находилась в интервале от 0 (не включая) до 1. Источники: http://personal.lse.ac.uk/lintono/downloads/llvtrafo.pdf, http://citeseer.ist.psu.edu/linton97analysis.html. В обоих источниках только, по-моему, небольшая ошибка в ФМП (нет 1/2) и явная ошибка (лямбда должна быть в квадрате) в якобиане для гиперболического арксинуса.

Численные эксперименты показали следующее:

1. Вместо ФМП с успехом можно применить любой критерий проверки нормальности (например, статистику или p-значение критерия Шапиро-Франсиа). Представляется, что это даже более объективная характеристика. ФМП дает лучшую, в рамках рассматриваемой модели, трансформацию. Но "лучшая" еще не значит "верная". Так, некоторые наборы данных, в рамках модели, нельзя трансформировать в данные с нужными свойствами. Например, нормальны ли новые данные, все равно необходимо проверить. Почему бы это не сделать сразу?

2. Возможно организовать трансформацию данных для получения результата с требуемыми свойствами (симметричность, скошенность, функция распределения). Например, требуется симметричность. В качестве критерия используем значимость коэффициента асимметрии. И т.п.