Преобразование Бокса-Кокса, частные вопросы метода |
Здравствуйте, гость ( Вход | Регистрация )
Преобразование Бокса-Кокса, частные вопросы метода |
5.02.2018 - 16:33
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 27 Регистрация: 5.02.2018 Пользователь №: 30938 |
Добрый день всем!
У меня есть большой массив данных для множественного сравнения (независимые выборки). Ситуация такая, что где-то 70-80% групп - это параметрика (определял по Д'Агостино-Пирсону), остальное - разумеется, что нет. Уже брал для определения различий тест Краскала-Уоллиса +тест Данна для множественных сравнений. Это самый простой способ, но тест Данна уж больно жёсткий, там достоверность определяется только железобетонная, которая даже визуально на графике просматривается. Т.е, к гадалке не ходи, достаточна велика вероятность ошибки второго рода. Не слишком-то подходит. Поэтому решил просто довести распределение до нормального Боксом-Коксом и взять ANOVA. По ходу дела возникло несколько вопросов: 1. Если я правильно всё понимаю, то нельзя преобразовывать только отдельные выборки, коль взял преобразование, то нужно Боксом-Коксом прогнать все выборки, в т.ч. и те, что уже и так имеют нормальное распределение. И я заметил преинтереснейшую вещь: в большинстве случаев Бокс-Кокс работает шикарно, но иногда возникает обратная ситуация, там где была параметрика вдруг стала непараметрика. В итоге, я, конечно, увеличил % групп с нормальным распределением, так что как бы и результат положительный, но осадок остался, да и 100% параметрики я так и не получил и, по-прежнему, по всей строгости закона, ANOVA мне не светит, как и раньше. Как решить данную проблему? Я знаю про другие виды подгонки распределения под нормальное, но Бокс-кокс позиционируется как очень эффективное и универсальное средство, этот метод доступен в программе Statistica, ничего вручную считать не надо и т.д и т.п. Мне просто даже интересно, как такое возможно, что Бокс-Кокс сделал непараметрику из параметрики, с учётом того, что программа проводит целую уйму подстановок для выбора оптимального значения лямбда? Я брал настройки по умолчанию для этого преобразования в Statistica, а именно: количество повторов (итераций) 40, диапазон лямбд от -5 до 5, эпсилон 0,00001, смещение альфа не брал (равно нулю). Может увеличить кол-во повторов? 2. Допустим проблему 1 мы решили, либо у нас её и не было изначально, то следующая задача представить адекватно полученные данные, т.е. нам нужно рассчитать новое среднее, ошибку, и построить график. Отсюда возникают вот такие подвопросы: а) Мы просто берём новое среднее и ошибку, что выдаётся в результатах Бокса-Кокса и делаем обратное преобразование по формуле: x=(y*λ+1)^(1/λ). Так ведь? Я даже проверил (хотя это очевидно), что обратное преобразование каждого конкретного числа бессмысленно, мы получаем исходную выборку. Я это к тому, что строить график по результатам преобразования не комильфо, как бы, т.к. числа получаются не сопоставимые по величине с исходными, и нужно их привести к виду подобному исходному. б) из пункта "а" напрямую возникает пункт "б". А разве есть такой график, либо такая программа, что позволяет строить, к примеру, Бокса-Вискера (либо что-то подобное), без исходных данных, только по среднему и ошибке? Знаю, что такое плюс-минус можно провернуть в Excel, но это у меня всегда вариант последнего выбора. Стараюсь избегать этой программы, по разным причинам, в т.ч., потому что это не спец программа для статистики, графики рисует не очень красивые и т.д. Я лично работаю в Statistica и GraphPad Prism. Знаете, можно ли провернуть в них такое? Может в какой-то бесплатной стат проге? Я уже читал материалы данного форума по смежным вопросам, поэтому слёзно прошу не отписываться просто ссылкой на другую тему, разве что там есть прямой ответ на любой из вопросов, а я по каким-то причинам этого не заметил. Сообщение отредактировал Cules2013 - 5.02.2018 - 16:50 |
|
6.02.2018 - 12:33
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
1. Про то, что данные не могут быть (не)параметрическими вам уже указали.
2. Про то, что проверять нужно нормальность распределения ошибки модели, а не лазить по отдельным группам - тоже. Поскольку все преобразования применяются к единому массиву данных, то и оценивать его результативность нужно применительно ко всему массиву. Естественно, что в отдельных группах при этом возможно появление положительной или отрицательной асимметрии распределения, т.е. типа "ухудшение" нормальности. 3. Формула обратного преобразования Бокса - Кокса правильная. Нужно только определиться что по ней вычислять. Однозначно нельзя вычислять ретрансформированием ошибку среднего, т.к. это просто неверно. По преобразованным данным вам нужно рассчитать среднее и 95%-ные доверительные интервалы (ДИ) для среднего - их и ретрансформировать. Про то, что ретрансформация по приведённой вами формуле называется наивной я уже писал и давал литературу - см. мои сообщения #8, #10 здесь: http://forum.disser.ru/index.php?showtopic=4111 ДИ после ретрансформации в исходную шкалу станут асимметричными, как собственно и само распределение - это логично. Также см. сообщение #10 здесь: http://forum.disser.ru/index.php?showtopic=3591 4. На графике следует давать среднее с ДИ, а не строить коробчатый график (Box-and-Whiskers Plot). Кстати это не "Бокса-Вискера", а "ящик с усами" . Этот тип графика хорош для быстрого взгляда на форму распределения и только. Подавляющее большинство исследователей строят такие графики только потому, что видят их в работах по своей тематике у других. А эти другие строят такие графики только потому, что не умеют построить графики среднего с асимметричными 95% ДИ. Рискну утверждать, что те, кто строит такие графики с обозначенными снежинками якобы выбросами вообще мало что понимают в биостатистике, потому что просто не знают про асимметрию распределения большинства биологических показателей. Короче, Box-and-Whiskers Plot в статью гораздо чаще правильнее не строить. В свои черновики - можно, хотя если позволяет объём выборок, то лучше посмотреть гистограммы распределений. 5. По графикам. Насколько я знаю, в Statistica вы графики с ретрансформированными средними и ДИ не построите. Достаточно просто это можно сделать в R: пакет scales позволяет прописать лямбду и шкала графика + все объекты на нём автоматически ретрансформируются из Бокса - Кокса в исходный масштаб. Также в R можно построить графики по средним с ДИ, уже вычисленным ретрансформацией где-либо до этого (Statistica, Excel, ...). Я обычно строю такие графики в пакете KyPlot; нужны версии до 3.0 - они были бесплатными и не урезанными, в сети можно найти 2.13 и 2.15 . Там можно вручную прописать в ячейках средние и ДИ и строить график типа как в Excel. Лучше, конечно, сразу осваивать R, а не заведомо устаревший пакет, но версию 2.15 горячо любимого мной KyPlot могу выложить. PS сообщение выше не читал ещё, отвечал на первый пост... Сообщение отредактировал nokh - 6.02.2018 - 12:35 |
|