Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V  < 1 2 3 >  
Добавить ответ в эту темуОткрыть тему
> Условие независимости остатков, при сравнении регрессий
100$
сообщение 21.12.2010 - 15:49
Сообщение #16





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Pinus @ 20.12.2010 - 13:29) *
Игорь, мы с Вами как-то ее обсуждали, но, признаться, глубоко я так в нее и не пошел. Насколько помню, критерий Дарбина-Уотсона можно применять только для временных рядов или когда в регрессии имеется строгая упорядоченность наблюдений. Или там вскрылись еще какие-то особенности?


Pinus, позвольте и мне присоединиться к разговору.

При использовании статистики Durbin-Watson необходимо помнить, что:

1. Она не является статистическим тестом в общепринятом понимании, поскольку существуют ситуации, когда по значению теста нельзя сделать никаких статистических выводов (зоны неопределенности).
2. Служит только для определения автокорреляции первого прядка.
3. Регрессия обязательно должна содержать константу.
4. В регресии не должны присутствовать лагированные значения объясняемой переменной (отклик нельзя употреблять в качестве регрессора).

Все процитированные опасения из Вашего поста не имеют под собой никаких оснований.


Но, воообще-то, при наличии теста множителей Лагранжа (LM - Lagrange Multiplier test), который применительно к остаткам называется тестом Бройша-Годфри (Breusch-Godfrey test, 1978), статистика Дарбина-Уотсона - это даже не вчерашний день, это - 1951 год.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 21.12.2010 - 16:04
Сообщение #17





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(100$ @ 21.12.2010 - 22:49) *
Все процитированные опасения из Вашего поста не имеют под собой никаких оснований.

Мои основные опасения возникли, когда я всмотрелся в формулу статистики Дарбина-Уотсона, где в числителе стоит сумма квадратов разностей остатков в последовательности i = 2...n. Таким образом, если для обычной регрессии менять последовательность наблюдений в выборке, то получаются различные значения статистики. Как быть?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 21.12.2010 - 18:56
Сообщение #18





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Pinus @ 21.12.2010 - 17:04) *
Мои основные опасения возникли, когда я всмотрелся в формулу статистики Дарбина-Уотсона, где в числителе стоит сумма квадратов разностей остатков в последовательности i = 2...n. Таким образом, если для обычной регрессии менять последовательность наблюдений в выборке, то получаются различные значения статистики. Как быть?


Если Вы в последовательности откликов измените порядок их следования, то тогда аналогичные перестановки надо делать и в наборе регрессоров, иначе у Вас получится просто куча различных регрессий с разными коэффициентами, стд. ошибками, остаточной суммой квадратов RSS и, соответственно, с разными значениями статистики Дарбина-Уотсона.

Что касается ответа на вопрос "Как быть?", являющегося вариацией на вечно юную тему "Что делать?" и "Кто виноват?", то надо все-таки ориентироваться на численное значение статистики (оно для парной линейной регрессии в идеале должно находиться в районе 2), или при большем количестве объясняющих переменных чаще заглядывать в таблицы критических значений (первая ссылка в посте Игоря). Статистика DW табулируется в интервальном виде, так что даже при различных численных её значениях окончательные выводы могут остаться неизменными.

Сообщение отредактировал 100$ - 21.12.2010 - 18:58
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 22.12.2010 - 06:30
Сообщение #19





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(100$ @ 22.12.2010 - 01:56) *
Если Вы в последовательности откликов измените порядок их следования, то тогда аналогичные перестановки надо делать и в наборе регрессоров, иначе у Вас получится просто куча различных регрессий с разными коэффициентами, стд. ошибками, остаточной суммой квадратов RSS и, соответственно, с разными значениями статистики Дарбина-Уотсона.

Конечно, если менять последовательность откликов, то вместе с регрессорами. А проще сказать изменить последовательность остатков. При различной последовательности остатков все параметры регрессии остаются одними и теми же, а вот статистика Дарбина-Уотсона меняется.

Цитата(100$ @ 22.12.2010 - 01:56) *
Статистика DW табулируется в интервальном виде, так что даже при различных численных её значениях окончательные выводы могут остаться неизменными.

Так вот в том-то и вопрос, что неопределенность: могут остаться, а могут и не остаться. Где-нибудь можно прочитать, что при перестановке выводы в любом случае остаются неизменными?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 22.12.2010 - 07:50
Сообщение #20





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(Pinus @ 22.12.2010 - 06:30) *
Так вот в том-то и вопрос, что неопределенность: могут остаться, а могут и не остаться. Где-нибудь можно прочитать, что при перестановке выводы в любом случае остаются неизменными?

Наверное, все-таки статистика DW и упомянутые аналоги могут применяться только к упорядоченным рядам (временным, например). Для регрессионного анализа порядок отсчетов не важен (т.е. порядок на результат регрессионного анализа не влияет). Для DW - важен, статистика зависит от порядка отсчетов.

Вот тут еще список литературы обнаружился по теме, если есть желание подробно изучить:
Fox J. Applied regression analysis, linear models and related methods. - SAGE Publications, 1997.
Fox J. Applied regression analysis and generalized linear models. - SAGE Publications, 2008.
J. Durbin & G.S. Watson (1950), Testing for Serial Correlation in Least Squares Regression I. Biometrika 37, 409–428.
J. Durbin & G.S. Watson (1951), Testing for Serial Correlation in Least Squares Regression II. Biometrika 38, 159–178.
J. Durbin & G.S. Watson (1971), Testing for Serial Correlation in Least Squares Regression III. Biometrika 58, 1–19.
R.W. Farebrother (1980), Pan's Procedure for the Tail Probabilities of the Durbin-Watson Statistic (Corr: 81V30 p189; AS R52: 84V33 p363- 366; AS R53: 84V33 p366- 369). Applied Statistics 29, 224–227.
R. W. Farebrother (1984), [AS R53] A Remark on Algorithms AS 106 (77V26 p92-98), AS 153 (80V29 p224-227) and AS 155: The Distribution of a Linear Combination of chi^2 Random Variables (80V29 p323-333) Applied Statistics 33, 366–369.
W. Kramer & H. Sonnberger (1986), The Linear Regression Model under Test. Heidelberg: Physica.
J. Racine & R. Hyndman (2002), Using R To Teach Econometrics. Journal of Applied Econometrics 17, 175–189.
Sharma P.D. An asymptotic approximation to the probability density function of the Durbin Watson test statistic // Economics, Econometrics and the LINK: Essays in Honor of Lawrence R.Klein. Vol. 226 of the book series: Contributions to Economic Analysis / Ed. by M. Jan Dutta, 1995, vol. 226, pp. 75-86.
Sheehan D.P. Approximating the distribution of the Durbin-Watson statistic // Journal Communications in Statistics - Theory and Methods, 1986, vol. 15, no. 1, pp. 73-88.
L'Esperance W.L., Chall D., Taylor D. An Algorithm for Determining the Distribution Function of the Durbin-Watson Test Statistic // Econometrica, November 1976, vol. 44, no. 6, pp. 1325-1326.
White K.J. The Durbin-Watson Test for Autocorrelation in Nonlinear Models // The Review of Economics and Statistics, May 1992, vol. 74, no. 2, pp. 370-373.

Сообщение отредактировал Игорь - 22.12.2010 - 09:23


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 22.12.2010 - 10:51
Сообщение #21





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Pinus @ 22.12.2010 - 07:30) *
Так вот в том-то и вопрос, что неопределенность: могут остаться, а могут и не остаться. Где-нибудь можно прочитать, что при перестановке выводы в любом случае остаются неизменными?


При наличии константы в уравнении регрессии остатки имеют нулевое среднее, а метод наименьших квадратов, которым Вы скорее всего будете ее оценивать, минимизирует остаточную дисперсию, делая ряд остатков очень похожим на стационарный (т.е. белый шум).

При этом любая перестановка - это не просто иная последовательность регрессионных остаков, это - иная ситуация, для которой выбранная модель (т.е. вид регрессии) может оказаться неадекватным (ошибка спецификации модели). Тогда остатки перестанут проходить тесты на адекватность.

Кроме того, если уж сторить регрессию, то с мыслью о будущем: на основе имеющихся данных построить прогноз. А это- временная категория.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 22.12.2010 - 11:39
Сообщение #22





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(100$ @ 22.12.2010 - 17:51) *
При этом любая перестановка - это не просто иная последовательность регрессионных остаков, это - иная ситуация, для которой выбранная модель (т.е. вид регрессии) может оказаться неадекватным (ошибка спецификации модели). Тогда остатки перестанут проходить тесты на адекватность.

Если найдено уравнение регрессии, и если коэффициенты уравнения от перестановки порядка наблюдений не меняются, то как может меняться степень адекватности?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 22.12.2010 - 13:51
Сообщение #23





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Pinus @ 22.12.2010 - 12:39) *
Если найдено уравнение регрессии, и если коэффициенты уравнения от перестановки порядка наблюдений не меняются, то как может меняться степень адекватности?


Согласен, можно выразиться точнее: отправной точкой проверки адекватности модели является диагностика остатков. Тест Дарбина-Уотсона проверяет наличие автокорреляции остатков, а автокорреляция есть функция от времени. Поэтому любое изменение очередности следования остатков, связаное с перестановками в исходных данных, вызовет изменение статистики DW. Просто я хотел сказать, что тут возникает парадокс: с помощью перестановок в исходных данных мы можем искусственно внести в них автокорреляцию, которую и зафиксирует DW. Другое дело, насколько устойчивыми будут полученные статистические выводы.

Сообщение отредактировал 100$ - 22.12.2010 - 14:25
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 22.12.2010 - 15:18
Сообщение #24





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(100$ @ 22.12.2010 - 20:51) *
Просто я хотел сказать, что тут возникает парадокс: с помощью перестановок в исходных данных мы можем искусственно внести в них автокорреляцию, которую и зафиксирует DW.

Судя по всему, так оно и есть. Поэтому формула и предполагает наличие некой упорядоченности наблюдений, и поэтому применение DW для обычной регрессии остается под большим вопросом. Даже если с точки зрения проведения эксперимента посмотреть: мы можем получать значения отклика при постепенном увеличении значений регрессора, при уменьшении или в разнобой - регрессия получится в любом случае одна и та же, а значения DW разными.
Была такая мысль, что для обычной регрессии с помощью DW можно посмотреть, например, не создает ли автокорреляцию изменение регрессора, т.е. можно отсортировать наблюдения в порядке возрастания регрессора и посмотреть нет ли каких-нибудь серий, но как тогда быть с повторяющимися наблюдениями (несколько значений отклика для одинакового значения регрессора)? Наверно еще можно использовать DW для проверки того, не создает ли автокорреляцию порядок проведения эксперимента (тогда используется соответствующая сортировка).

Сообщение отредактировал Pinus - 22.12.2010 - 15:33
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 22.12.2010 - 16:27
Сообщение #25





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(Pinus @ 22.12.2010 - 16:18) *
... Поэтому формула и предполагает наличие некой упорядоченности наблюдений...


Не совсем так. От исследователя тест не требует никаких предварительных действий: не надо ни сортировать, ни упорядочивать данные, не надо назначать им веса, ранги и т.д. Есть телько вышеозвученные пожелания к исходной регрессии. Просто тест DW с рядом остатков работает как с временным рядом.
А чем могут закончиться эксперименты с перестановками будет понятно, если явно ввести время в уравнение регрессии в качестве объясняющей переменной.

А не пробовали озвучить свои мысли на форуме по эконометрике НГУ? Там есть темка про Д-У. Интересно, что А. Цыплаков ответит.

Сообщение отредактировал 100$ - 22.12.2010 - 16:31
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 23.12.2010 - 00:52
Сообщение #26





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(100$ @ 22.12.2010 - 23:27) *
А не пробовали озвучить свои мысли на форуме по эконометрике НГУ? Там есть темка про Д-У. Интересно, что А. Цыплаков ответит.

Можно, наверно, попробовать, но сейчас особо времени нет. Может быть позже. Попробуйте Вы, если есть желание.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
плав
сообщение 23.12.2010 - 14:55
Сообщение #27





Группа: Пользователи
Сообщений: 1013
Регистрация: 4.10.2006
Пользователь №: 1933



Во всех рассуждениях выше есть одна проблема - предполагается, что наблюдения можно переставить. Однако это не так. Порядок остатков зависит от "независимой" переменной, которой в эконометрических исследованиях обычно является время. Поэтому и пишут остаток во время t минус остаток во время t-1. Но это просто дань методике. Если Вы предсказываете охват от роста, то рост, как независимая переменная определяет порядок остатков и переставить их не получится. Некая уопрядоченность в тесте DW обязательная и определяется она независимой (незаивисмыми) переменной (-ными)
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 23.12.2010 - 20:31
Сообщение #28





Группа: Пользователи
Сообщений: 902
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(плав @ 23.12.2010 - 15:55) *
Во всех рассуждениях выше есть одна проблема - предполагается, что наблюдения можно переставить. Однако это не так. Порядок остатков зависит от "независимой" переменной, которой в эконометрических исследованиях обычно является время. Поэтому и пишут остаток во время t минус остаток во время t-1. Но это просто дань методике. Если Вы предсказываете охват от роста, то рост, как независимая переменная определяет порядок остатков и переставить их не получится. Некая уопрядоченность в тесте DW обязательная и определяется она независимой (незаивисмыми) переменной (-ными)


Плав, Вы все мудро говорите, только эта ветка про Д-У возникла лишь потому, что никто из собеседников не всетречал в литературе явного запрета на ее использование в регрессионном анализе. Допустим, что мы восстанавливаем зависимость урожайности от количества внесенных удобрений. Никакой хронологии нет и в помине, причин явно вводить время в уравнение регрессии нет. Перестановками в таком случае можно заниматься до вздутия живота, а статистика Д-У всякий раз будет разная. Может быть, именно поэтому она и популярна лишь при анализе временных рядов (эконометрика всецело к нему не сводится). Вот как-то так.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 24.12.2010 - 02:55
Сообщение #29





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(плав @ 23.12.2010 - 21:55) *
Во всех рассуждениях выше есть одна проблема - предполагается, что наблюдения можно переставить. Однако это не так. Порядок остатков зависит от "независимой" переменной, которой в эконометрических исследованиях обычно является время. Поэтому и пишут остаток во время t минус остаток во время t-1. Но это просто дань методике. Если Вы предсказываете охват от роста, то рост, как независимая переменная определяет порядок остатков и переставить их не получится. Некая уопрядоченность в тесте DW обязательная и определяется она независимой (независимыми) переменной (-ными)

Там, где присутствует время, там, видимо, заканчивается обычная регрессия. Процесс роста, как биологический процесс, строго говоря, это временной ряд со всеми вытекающими последствиями. Но можно просто, исследовать, например, возрастную динамику средних размеров органа не на одном, а на многих особях, и тогда в регрессии будет не время (роста), а возраст разных организмов. Конечно, можно и здесь расположить наблюдения с увеличением возраста, но как быть, если имеется несколько наблюдений для одного значения возраста (что для временного ряда невозможно)? Как их расположить? А если независимых переменных несколько, и расположение значений одного регрессора по возрастанию далеко не всегда будет соответствовать возрастанию значений другого регрессора?
Если же отойти от изучения роста, а посмотреть на обычную регрессию вообще. В программах (SPSS, Statistica) в модуле обычной линейной регрессии предлагается статистика DW. В книгах тоже. И народ (особливо из гвардии аспирантов, а встречаются и методички преподавателей), по всей видимости, поступает как в песне: "нажми на кнопку - получишь результат, и твоя мечта осуществится!". А в действительности получается "...ну что же ты не рад?" - результат не верный.
Вот, передо мной книга Вуколова Э.А. "Основы статистического анализа. Практикум ... с использованием пакетов Statistica и Excel", рекомендованная УМО вузов РФ в качестве учебного пособия, где в главе 6 "Регрессионный анализ" (Анализ временных рядов - отдельная глава) предлагается для анализа корреляции остатков (стр. 172) использовать статистику DW. В примере расчета исходные данные по возрастанию независимой переменной не расположены (стр. 176), а расчет статистики ведется в соответствии с порядком исходных данных (стр. 188).
В учебном пособии Халафяна А.А. "Statistica 6. Статистический анализ данных", допущенного Минобрнауки для студентов вузов по спец. "Статистика", приводится пример линейного регрессионного анализа (изучается зависимость объема продаж от розничной цены, расходов на рекламу и количества работ). Значения регрессоров в порядке возрастания не расположены (стр. 156), однако предлагается: "...нажмите на кнопку Durbin-Watson statistic..." (стр. 161).

Сообщение отредактировал Pinus - 24.12.2010 - 04:50
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 24.12.2010 - 03:02
Сообщение #30





Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(100$ @ 24.12.2010 - 03:31) *
...никто из собеседников не всетречал в литературе явного запрета на ее использование в регрессионном анализе.

Встречаются не запреты, а как раз таки рекомендации...


Сообщение отредактировал Pinus - 24.12.2010 - 03:06
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

3 страниц V  < 1 2 3 >
Добавить ответ в эту темуОткрыть тему