Трансформация Бокса-Кокса |
Здравствуйте, гость ( Вход | Регистрация )
Трансформация Бокса-Кокса |
8.02.2010 - 22:32
Сообщение
#31
|
|
Группа: Пользователи Сообщений: 120 Регистрация: 27.08.2009 Пользователь №: 6284 |
>А как мы определим ненормальность Y?
Самым обычным способом. Мы же считаем, что это переменная исследования (зависимая). В общем случае, если строить регрессию, есть требование нормальности Y. ( Я помню, что мы это обсуждали, но...если все-таки опираться на классику, то для регрессии требуется нормальность Y, поэтому я вынесла преобразование Y до нормального вперед, перед преобразованием линейности). Это не кованализ :)
|
|
8.02.2010 - 23:34
Сообщение
#32
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
>А как мы определим ненормальность Y? Самым обычным способом. Мы же считаем, что это переменная исследования (зависимая). В общем случае, если строить регрессию, есть требование нормальности Y. ( Я помню, что мы это обсуждали, но...если все-таки опираться на классику, то для регрессии требуется нормальность Y, поэтому я вынесла преобразование Y до нормального вперед, перед преобразованием линейности). Каким это интересно "самым обычным"?. Подразумевается что Y нормально распределена на каждом уровне X. Нормальность распределения Y и нормальность распределения Y на каждом уровне X - абсолютно разные вещи. И при одном наблюдении Y на каждый X Вы никак не проверите нормальность Y кроме как исследовав остатки. А для получения адекватных этой задаче остатков нужно знать вид зависимости. |
|
9.02.2010 - 22:30
Сообщение
#33
|
|
Группа: Пользователи Сообщений: 120 Регистрация: 27.08.2009 Пользователь №: 6284 |
Как описывается введение в регрессионную модель?
Вроде так: Пусть истинная связь между у и х линейна и наблюдение у на каждом уровне х ? случайная величина. ( НЕ сказано, с каким распределением) Матожидание для каждого значения E(y/x)= b0+b1*x Каждое наблюдение у=b0+b1*x + е е- случайная ошибка с нулевым матожиданием и дисперсией сигма^2 y-e - должно быть нормально распределено с матожиданием y и сигма^2. Вот отсюда и требование к Y - иметь нормальное распределение. А не на каждом уровне Х. Надо порыться в старых учебниках. Новые не внушают доверия Это не кованализ :)
|
|
9.02.2010 - 23:03
Сообщение
#34
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
|
|
10.02.2010 - 11:50
Сообщение
#35
|
|
Группа: Пользователи Сообщений: 244 Регистрация: 28.08.2009 Пользователь №: 6286 |
В общем случае, если строить регрессию, есть требование нормальности Y. Я помню, что мы это обсуждали, но...если все-таки опираться на классику, то для регрессии требуется нормальность Y... ... Вот отсюда и требование к Y - иметь нормальное распределение. А не на каждом уровне Х. Надо порыться в старых учебниках. Новые не внушают доверия ... Green, пожалуй что Вы не правы. Если приведете пример какой-нибудь книги (имеются ввиду авторитетные авторы, а не разные компиляции и учебные методички), то это будет интересно. |
|
10.02.2010 - 11:53
Сообщение
#36
|
|
Группа: Пользователи Сообщений: 244 Регистрация: 28.08.2009 Пользователь №: 6286 |
... а для меня это - вопрос решённый ... Nokh, я Ваc спрашивал в теме о выбросах, по поводу роли распределения переменных в оценке влияния наблюдений на регрессию. Мои мысли по этому поводу, что желательны симметричные распределения (не обязательно нормальные). Извините за навязчивость, но все-таки, что Вы думаете по этому поводу? |
|
10.02.2010 - 17:33
Сообщение
#37
|
|
Группа: Пользователи Сообщений: 120 Регистрация: 27.08.2009 Пользователь №: 6284 |
nokh, Pinus
Афифи, Эйзен. Статистический анализ, Москва, Мир , 1982. Стр 147 (речь о случайных величинах, но не о нормально распределенных) Монтгомери, Планирование эксперимента и анализ данных, 1980. стр282 , 288 ( а вообще всю главу прочтите) Из модели, что ошибка e - распределена нормально, из того, что мы хотим оценить коэффициенты/параметры следует именно это. ( стр 288 внизу). И еще. Оттого, что Вы для себя решаете, не следует что так трактует теория статистического оценивания. Для того, чтобы провести оценку параметров - нам нужно предположение о нормальности. ======= можно взять модель с любым распределением ошибки, но математика не проработана. а проработана она для вот такого: Матожидание для каждого значения E(y/x)= b0+b1*x Каждое наблюдение у=b0+b1*x + е е- случайная ошибка с нулевым матожиданием и дисперсией сигма^2 ------- А теперь жду источника, где написано что нужно норм распределение на каждом уровне X. Желательно не последних лет издания. Или пояснения фразы "Подразумевается что Y нормально распределена на каждом уровне X. " --------- Вообще, у меня возникает ощущение что Вы путаете два понятия - линейна по параметрам и линейна по переменным. у=k*x+b y=k*(x^2)+b y=k*ln(x)+b эти все функции линейны по параметрам. В теории статоценивания нам нужно оценить параметры. поэтому сделайте нормальным y и крутите любые степени от х. Это не кованализ :)
|
|
11.02.2010 - 02:21
Сообщение
#38
|
|
Группа: Пользователи Сообщений: 79 Регистрация: 18.01.2010 Пользователь №: 9836 |
для проведения теста надо знать распределение показателя в популяции, а не в выборке. Поскольку основное допущение дисперсионного анализа - что все группы пришли из одной популяции, то надо анализировать суммарное распределение. Дисперсионный анализ относительно устойчив к небольшим отклонениям от нормального распределения, поэтому если отклонения будут небольшими, можно пользоваться и обычным дисперсионным анализом. плав, Вы неоднократно озвучивали это на форуме, звучит, действительно, логично, но можно ссылку Если получены данные с неправильным распределением, их всегда нужно нормализовать? Отклонение от нормального распределения на сколько допустимо для ANOVA? Сообщение отредактировал bubnilkin - 11.02.2010 - 02:23 |
|
11.02.2010 - 10:03
Сообщение
#39
|
|
Группа: Пользователи Сообщений: 244 Регистрация: 28.08.2009 Пользователь №: 6286 |
nokh, Pinus Green, Вы утверждали, что для проведения регрессионного анализа необходимо нормальное распределение переменной Y. В приведенных Вами источниках на указанных страницах подтверждения Ваших слов нет.Афифи, Эйзен. Статистический анализ, Москва, Мир , 1982. Стр 147 (речь о случайных величинах, но не о нормально распределенных) Монтгомери, Планирование эксперимента и анализ данных, 1980. стр282 , 288 ( а вообще всю главу прочтите) Из модели, что ошибка e - распределена нормально, из того, что мы хотим оценить коэффициенты/параметры следует именно это. (стр 288 внизу). А теперь жду источника, где написано что нужно норм распределение на каждом уровне X. Можно привести много источников, но сначала докажите свои утверждения.Если хотите развивать этот вопрос, то лучше открыть новую тему. В этой теме отвечать больше не буду. |
|
11.02.2010 - 10:38
Сообщение
#40
|
||
Группа: Пользователи Сообщений: 120 Регистрация: 27.08.2009 Пользователь №: 6284 |
Есть такая центральная предельная теорема, которая гласит, что сумма большого количества слабозависимых случайных величин имеет распределение, близкое к нормальному. Так вот, нам нужно оценить параметр b1. он оценивается по сумме yi ( которые являются случайными величинами, не обязательно нормальными на каждом уровне, но гомоскедастичными). yi- представляются как b1*xi+b0 Мы оцениваем параметры регрессии, а не объясняем зависимость у от х. Для оценки параметров достаточно, чтобы у имел НР. или проверять остатки на НР. Проверять на каждом уровне - это избыточно. сумма - это линейное преобразование ( ссылка на линейную алгебру), и слово линейное в сочетании "линейная регрессия" относится к линейным преобразованиям, а не к прямой линии. поэтому, я писала в другой теме, нас интересует линейность по параметрам, а не в том смысле, что x - в первой степени. Сообщение отредактировал Green - 11.02.2010 - 12:05 Это не кованализ :)
|
|
|
12.02.2010 - 21:31
Сообщение
#41
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Nokh, я Ваc спрашивал в теме о выбросах, по поводу роли распределения переменных в оценке влияния наблюдений на регрессию. Мои мысли по этому поводу, что желательны симметричные распределения (не обязательно нормальные). Извините за навязчивость, но все-таки, что Вы думаете по этому поводу? Если честно - не знаю. Вникать глубоко у меня сейчас пока нет возможности, а чтобы разобраться, нужно именно прочувствовать проблему на конкретных данных, лучше - на своих. За выбросы и влияющие наблюдения я взялся т.к. давно знал свой пробел в этом, а разобраться - повода не было. Скорее всего по части регрессии и влияющих наблюдений Вы уже более компетентны чем я, т.к. с регрессией сталкиваюсь редко, чаще дисперсионный, логлинейный анализ и ординация. |
|
13.02.2010 - 01:31
Сообщение
#42
|
|
Группа: Пользователи Сообщений: 244 Регистрация: 28.08.2009 Пользователь №: 6286 |
Nokh, спасибо большое за ответ! А то я уже думал: или времени нет, или отвечать не хочет... У меня проблемы с инязом. Да и времени тоже не бесконечность, руководитель толкает: давай-давай, а хочется сделать качественно. А чем больше читаешь, тем больше и новых возможностей и, соответственно, больше вопросов. Еще раз спасибо.
|
|
26.07.2013 - 13:06
Сообщение
#43
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Бокс-Кокс для расчёта средних и ДИ
Нашёл у себя ошибки в вычислениях. Устраню - выложу вопрос заново. Сообщение отредактировал nokh - 27.07.2013 - 12:04 |
|