Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V  < 1 2 3  
Добавить ответ в эту темуОткрыть тему
> Условие независимости остатков, при сравнении регрессий
100$
сообщение 24.12.2010 - 11:21
Сообщение #31





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Pinus @ 24.12.2010 - 03:55) *
Там, где присутствует время, там, видимо, заканчивается обычная регрессия.


Регрессия не заканчивается. Заканчиваются наши эксперименты с перестановками smile.gif

Специфика критерия Д-У такова, что "переход" из области "нормальных" значений статистики в область "патологии" (положительная или отрицательная а/корреляция) все равно происходит только через зону неопределенности. Если окончательные выводы от отсутствии а/корреляции 1 порядка неустойчивы по отношению к перестановкам исходных данных, то по-любому придется привлекать другие критерии диагностики остатков. Дарбин с Уотсоном панацеей не являются.

Сообщение отредактировал 100$ - 24.12.2010 - 11:34
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
плав
сообщение 24.12.2010 - 21:25
Сообщение #32





Группа: Пользователи
Сообщений: 1013
Регистрация: 4.10.2006
Пользователь №: 1933



Цитата(100$ @ 23.12.2010 - 20:31) *
Плав, Вы все мудро говорите, только эта ветка про Д-У возникла лишь потому, что никто из собеседников не всетречал в литературе явного запрета на ее использование в регрессионном анализе. Допустим, что мы восстанавливаем зависимость урожайности от количества внесенных удобрений. Никакой хронологии нет и в помине, причин явно вводить время в уравнение регрессии нет. Перестановками в таком случае можно заниматься до вздутия живота, а статистика Д-У всякий раз будет разная. Может быть, именно поэтому она и популярна лишь при анализе временных рядов (эконометрика всецело к нему не сводится). Вот как-то так.

ничего подобного, "хронология" как раз в Вашем примере есть - количество внесенных удобрений. Это интервальная переменная и естественный порядок есть. Время является независимой переменной, соответственно статистика считает зависимость остатков от значения независимой переменной. А как иначе она "знает" про время? Так что не надо находить проблему там, где ее нет.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 24.12.2010 - 23:25
Сообщение #33





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(плав @ 24.12.2010 - 22:25) *
ничего подобного, "хронология" как раз в Вашем примере есть - количество внесенных удобрений. Это интервальная переменная и естественный порядок есть. Время является независимой переменной, соответственно статистика считает зависимость остатков от значения независимой переменной. А как иначе она "знает" про время? Так что не надо находить проблему там, где ее нет.


1. Про хронологию (кстати, а почему в кавычках smile.gif Ну, да ладно...): могу согласиться, если эксперимент ставится в течение нескольких лет на одном клочке земли. Если же одновременно на нескольких участках (причем количество удобрений - величина случайная) - на выходе получаем N точек в декартовой ситеме координат: завсимость урожайности от количества удобрений. Другое дело, что на оси абсцисс это количество (удобрений) будет упорядочено по возрастанию. Так это-чисто визуальный эффект, время тут не при чем.

2. Насчет интервальности. Статистика Д-У не интересуется природой откликов и регрессоров: интервальные они, нечеткие или серо-буро-малиновые. В отношении самой регрессии (модели) есть определенные пожелания (см. пост #16 ).

3. Спрашиваете: "А иначе как она "знает" про время?" Отвечаем: она ничего не "знает" про время, просто работает с рядом остаков, как с временным рядом. (Кажется, я повторяюсь). Индекс, который используется в формуле, нет необходимости отождествлять со временем. Вам просто дают понять, что для корректного расчета статистики Д-У надо из второго остатка вычесть первый, из третьего-второй и т.д.

4. По поводу искусственно созданных проблем. Сообщите, пож-ста эту драгоценную рекомендацию, Pinus'у. Не нужно в запальчивости доказывать мне то, что я доказывал ему в посте #25.

Сообщение отредактировал 100$ - 26.12.2010 - 01:06
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 25.12.2010 - 01:58
Сообщение #34





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(100$ @ 25.12.2010 - 06:25) *
По поводу искусственно созданных проблем. Сообщите, пож-ста эту драгоценную рекомендацию, Pinus'у. Не нужно в запальчивости доказывать мне то, что я доказывал ему в посте #25.

Коллега, Ваша позиция по ходу обсуждения вопроса менялась несколько раз. Сначала Вы сказали, что "все процитированные опасения из Вашего (моего) поста не имеют под собой никаких оснований". Затем стали аргументировать тем, что при перестановке "остатки перестанут проходить тесты на адекватность". Потом Вы заметили, что "с помощью перестановок в исходных данных мы можем искусственно внести в них автокорреляцию, которую и зафиксирует DW". Следующим этапом согласились, что "перестановками в таком случае можно заниматься до вздутия живота, а статистика Д-У всякий раз будет разная". А теперь опять для Вас - это "искусственно созданная проблема".
Понятно, что мотивация участия в форуме может быть разная. Кто-то хочет найти ответ на вопрос, не скрывает своего незнания и признает свои ошибки. Кто-то имеет возможность помочь, потому что знает ответ, но в случае ошибочности своего мнения признает это, потому что цель - найти правильное решение (которое может быть будут использовать и другие читатели форума). А кто-то хочет просто показать себя и поэтому приоритеты меняются - куда важнее завуалировать свои ошибки и по возможности перевести стрелки на других.

Сообщение отредактировал Pinus - 25.12.2010 - 02:08
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
плав
сообщение 25.12.2010 - 13:00
Сообщение #35





Группа: Пользователи
Сообщений: 1013
Регистрация: 4.10.2006
Пользователь №: 1933



Цитата(100$ @ 24.12.2010 - 23:25) *
1. Про хронологию (кстати, а почему в кавычках smile.gif Ну, да ладно...): могу согласиться, если эксперимент ставится в течение нескольких лет на одном клочке земли. Если же одновременно на нескольких участках (причем количество удобрений - величина случайная) - на выходе получаем N точек в декартовой ситеме координат: завсимость урожайности от количества удобрений. Другое дело, что на оси абсцисс это количество (удобрений) будет упорядочено по возрастанию. Так это-чисто визуальный эффект, время тут не при чем.

2. Насчет интервальности. Статистика Д-У не интересуется природой откликов и регрессоров: интервальные они, нечеткие или серо-буро-малиновые. В отношении самой регрессии (модели) есть определенные пожелания (см. пост #16 ).

3. Спрашиваете: "А иначе как она "знает" про время?" Отвечаем: она ничего не "знает" про время, просто работает с рядом остаков, как с временным рядом. (Кажется, я повторяюсь). Индекс, который используется в формуле, не необходимости отождествлять со временем. Вам просто дают понять, что для корректного расчета статистики Д-У надо из второго остатка вычесть первый, из третьего-второй и т.д.

4. По поводу искусственно созданных проблем. Сообщите, пож-ста эту драгоценную рекомендацию, Pinus'у. Не нужно в запальчивости доказывать мне то, что я доказывал ему в посте #25.

Похоже Вы не понимаете, или делаете вид, что не хотите понять. Итак, по пунктам:
1) Статистика ДУ работает с упорядоченными данными (это же тест для регресии!). Для упорядочения необходима независимая переменная. Такой переменной является время, концентрация внесенного удобрения или еще что-то. Поэтому переставлять остатки как Вам хочется нельзя.
2) Вы сами-то поняли, что Вы упорядочили данные по времени в своем ответе ?3? А если можно упорядочить по времени, почему нельзя по другой переменной? В чем разница? (вообще создается впечатление, что Вы никогда анализ остатков не делали)
3) Не стоит цепляться к терминам, если не очень разбираетесь. По поводу распределения остатков есть требования - для расчета таблиц используется допущение нормальности распределения остатков, соответственно если шкала будет "серо-буро-малиновая" (а также, например, номинальная), то остатки не смогу быть распределены нормально. Отсюда, кстати, формально следует, что переменная отклика должна измеряться интервальной шкалой, а требование упорядоченности означает, что независимая переменная должна измеряться как минимум при помощи ординальной шкалы. То, что Вы это не поняли, вызывает лишь сожаления.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 25.12.2010 - 22:37
Сообщение #36





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Pinus @ 25.12.2010 - 02:58) *
Коллега, Ваша позиция по ходу обсуждения вопроса менялась несколько раз. Сначала Вы сказали, что "все процитированные опасения из Вашего (моего) поста не имеют под собой никаких оснований". Затем стали аргументировать тем, что при перестановке "остатки перестанут проходить тесты на адекватность". Потом Вы заметили, что "с помощью перестановок в исходных данных мы можем искусственно внести в них автокорреляцию, которую и зафиксирует DW". Следующим этапом согласились, что "перестановками в таком случае можно заниматься до вздутия живота, а статистика Д-У всякий раз будет разная". А теперь опять для Вас - это "искусственно созданная проблема".
Понятно, что мотивация участия в форуме может быть разная. Кто-то хочет найти ответ на вопрос, не скрывает своего незнания и признает свои ошибки. Кто-то имеет возможность помочь, потому что знает ответ, но в случае ошибочности своего мнения признает это, потому что цель - найти правильное решение (которое может быть будут использовать и другие читатели форума). А кто-то хочет просто показать себя и поэтому приоритеты меняются - куда важнее завуалировать свои ошибки и по возможности перевести стрелки на других.


Ув. Pinus!
Не сочтите, пож-ста, сказанное мною в посте # 33 за личный выпад. Просто все сказанное в ветке говорится, прежде всего, для ее автора.

Мотивация, как Вы очень верно заметили, может быть разная. Смею предположить, что у меня она такая же, как и у Вас - как можно скорее завершить свое незаконченное самостоятельное образование в области статистики. Поэтому я тоже не брезгую общением на форумах в надежде отыскать жемчужное зерно во всех разновидностях информационного шума. К беседе присоединился лишь потому, что Вы, по Вашим же словам, плотно этим критерием не занимались. И хотя я не расыпал в своих постах смайлики горстями, менторского тона старался избегать.

Демонстрацией себя любимого на форумах не интересуюсь. Не стриптизерша.

Теперь насчет позиции. Тест Д-У подобно прочим методам диагностики остатков стремится доказать, что тестируемый ряд остатков является белым шумом, т.е. его вероятностные характеристики не зависят от времени. В этом качестве он должен быть инвариантен к разовым перестановкам (даже безотносительно к тому, можно их делать или нельзя) в смысле окончательных выводов, если ряд достаточно длинный. Именно поэтому я и сказал, что опасения беспочвенны. Из этого довольно очевидно вытекает мое убеждение, что проблема эта довольно умозрительная. Если бы это было не так, то за 60 лет существования критерия кто-нибудь, глядишь, да и подметил бы это раньше Вас.

Этого Вам показалось мало, и Вы начали уточнять, что будет, если мы допустим (гипотетическую) возможность перестановки исходных данных. Благо, задавать такие вопросы проще, чем на них отвечать. Вот я и ответил, что будет либо куча разных по сути регрессий, либо одна и та же, но с разными значениями статистики Д-У. При этом неинвариантность критерия по отношению к перестановкам, скорее всего, свидетельствует о неправильной спецификации модели. Далее я предположил, что явное введение фактора времени в регрессию должно, по идее, продемонстрировать абсурдность исходной предпосылки о допустимости каких либо перестановок в исходных данных. Именно поэтому при анализе временных рядов такое никому и в голову не придет. На Вас это, правда, впечатления не произвело.

Вот только очень досадно, что от предложения проконсультироваться на форуме НГУ Вы гордо отказались, сославшись на занятость, но на обсуждение скромного меня и чтение мне морали на этом форуме время нашли. Довольно странно для смиренного искателя истины, к тому же бескорыстно заботящегося о ближнем. Так что назидательный тон Вам пока не к лицу.

Засим жду от Вас снисходительного указания пальцем на мои ошибки, которые я, по Вашему, так неудачно вуалирую. Не сливайте дискуссию. Только просьба отвлечься от запрета на перестановки и не копировать посты ув. Плава. Заранее спасибо за науку.

С уважением.

Сообщение отредактировал 100$ - 26.12.2010 - 16:29
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 26.12.2010 - 23:01
Сообщение #37





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Наблюдая столь острую дискуссию, переходящую на личности, хочется вставить пару слов в защиту Дарбина и Уотсона, а то можно подумать, что их статистика этакая марионетка.
Да, действительно распределение статистики ДУ зависит не только от n и p, но также и от конкретных значений предикторов. Но Дарбин и Уотсон преодолели это затруднение рассчитав при различных значениях числа наблюдений и объясняющих переменных нижнюю и верхнюю границы интервала, в котором только и могут находиться критические значения статистики Дарбина-Уотсона, независимо от того, каковы конкретные значения предикторов.
Не могу согласиться с мнением 100$ (хотя ник ? весомый аргумент), что это устаревший критерий и его стоит забыть, отдавая предпочтение критерию Бройша ? Годфри (Breusch-Godfrey). Критерию Стьюдента более 100 лет, но он прочно на месте.
Преимущества ДУ перед упомянутым Бройша ? Годфри в том, что ДУ точный критерий, а БГ является асимптотическим критерием. Реализация в статистических пакетах гигантах именно ДУ (SPSS, Statistica), а не БГ(мне известен только один такой пакет) подтверждает то, что ДУ не является устаревшим критерием.
Однако возможность применения критерия Дарбина-Уотсона ограничивается тем, что он неприменим в ситуациях, когда в число объясняющих переменных включаются запаздывающие значения объясняемой переменной.?
В ссылках Игоря все это есть. Но можно и на русском языке посмотреть, например Эконометрика для начинающих - В. П. Носко, есть в сети.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 27.12.2010 - 08:28
Сообщение #38





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



А было бы интересно посмотреть, как именно меняется статистика Дарбина-Уотсона при перестановках вариант. Например, взять небольшой ряд (чтобы вычислений не сильно много), сгенерировать все перестановки и для каждой перестановки посчитать статистику.


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 27.12.2010 - 13:15
Сообщение #39





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Одно число посчитано не верно, я его зачеркнула, должно быть 1,43. И еще есть ошибки в расчете второго остатка (-1,54). Да, не удачный пример (из повобия для ВУЗа, могу дать ссылку).

Мое самообразование в этом вопросе привело к тому, что я сделала следующие выводы. Статистика ДУ может применяться к ряду первичных данных для доказательства наличия во временном ряду автокорреляции. ПОсле построения регрессионной модели ДУ применяется к остаткам чтобы доказать, что они не коррелируют. Почему он в модуле обычной регрессии присутствует в пакетах, чтобы в процессе моделирования стремиться к тому, чтобы получить макс R^2, мин сумму квадратов остатков и отсутствие автокорреляци остатков по ДУ. Но при моделировании вы меняете набор предикторов, а не порядок наблюдений. Прочерки в первой строке в примере, не очень понятно что, но в интрепретации число наблюдений 7 , dL=0,700 dU=1,356. Расчетное значение попадает в интервал от dU до 4-dU,т.е. нулевая гипотеза об отсутствии автокорреляции не отклоняется.

Сообщение отредактировал DrgLena - 27.12.2010 - 15:46
Эскизы прикрепленных изображений
Прикрепленное изображение
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 27.12.2010 - 18:28
Сообщение #40





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Уважаемым собеседникам, привыкшим обсуждать письмо, а не почтальона, с удовольствием отвечаю (с нарушением хронологии и в телеграфном стиле)

Игорь, вы были бы тысячу раз правы, но проблема и в самом деле не стоит выеденного яйца.
Мы (по крайней мере, я) попытались в игровой форме умозрительно спрогнозировать результаты численного эксперимента так сказать "на кончике пера". Не более того.
Правда, с тех пор у меня появились еще два умозрительных замечания, которые сейчас мне изложить недосуг.

Боюсь, что для численных экспериментов в духе Монте-Карло вы здесь энтузиастов не найдете.

DоrоgаяLena!

В обоих ваших высказываниях есть неточности и откровенно неудачные моменты, которые одной строкой не прокомментируешь.
Предполагаю позже вернуться к обсуждению, когда Pinus выйдет в эфир. К тому же и Плаву надо ответить.

Сообщение отредактировал 100$ - 27.12.2010 - 18:39
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 27.12.2010 - 19:04
Сообщение #41





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



100$, Вы как раз и обсуждаете почтальонов ( аж 4 ника упоминаете), а по сути письма ? ровно ничего. При изменении порядка наблюдений, по вашему, получается куча разных регрессий? Вряд ли pinus предлагал только остатки переставлять. Ваши новые "умозрительные замечания", скорее всего в том же духе. И Монте-Карло тут тоже ни при чем, пример я привела для Игоря поскольку он такое желание высказал. Вот только по определению применимости этого критерия этого делать нельзя, плав это уже высказал.

Сообщение отредактировал DrgLena - 27.12.2010 - 19:09
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 27.12.2010 - 19:08
Сообщение #42





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Цитата(100$ @ 27.12.2010 - 19:28) *
В обоих ваших высказываниях есть неточности и откровенно неудачные моменты, которые одной строкой не прокомментируешь.

Надеюсь, это сделают другие участники форума в том духе, который обычно присутствует на этом форуме.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
плав
сообщение 28.12.2010 - 18:07
Сообщение #43





Группа: Пользователи
Сообщений: 1013
Регистрация: 4.10.2006
Пользователь №: 1933



Цитата(Игорь @ 27.12.2010 - 08:28) *
А было бы интересно посмотреть, как именно меняется статистика Дарбина-Уотсона при перестановках вариант. Например, взять небольшой ряд (чтобы вычислений не сильно много), сгенерировать все перестановки и для каждой перестановки посчитать статистику.

А как могут выглядеть перестановки вот тут:
y x
1 1
2 1.6
3 2
4 2.4
? Это ведь обычная регрессия, а может y - время?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
alexeysmirnov20@...
сообщение 28.06.2015 - 17:38
Сообщение #44





Группа: Пользователи
Сообщений: 1
Регистрация: 28.06.2015
Пользователь №: 27327



Об этом можно почитать в статье СМЕШАННАЯ РЕГРЕССИОННО-ТРЕНДОВАЯ МОДЕЛЬ В ЗАДАЧЕ ПРОГНОЗИРОВАНИЯ
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

3 страниц V  < 1 2 3
Добавить ответ в эту темуОткрыть тему