Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Статистика Дарбина-Уотсона
passant
сообщение 5.10.2021 - 16:26
Сообщение #1





Группа: Пользователи
Сообщений: 197
Регистрация: 27.04.2016
Пользователь №: 28223



Уважаемые коллеги.
Хорошо известно, что в регрессионном анализе рекомендуется проводить анализ регрессионных остатков, в том числе на независимость. Наиболее активно применяемый для этого критерий - это критерий Дарбина-Уотсона. Этот критерий как правило формулируется в терминах сравнения полученной статистики остатков (DW) и некоторых значений, задаваемых таблично.
Нигде не могу найти упоминаний о том, на основании какого распределения строиться эта таблица. Хотелось бы все-таки как-то уйти от доверительных интервалов и оперировать с p_value, но без знания теоретической статистики это невозможно. Кто-нибудь где-нибудь встречал эту информацию?
Заранее благодарен за любую наводку или подсказку в этом направлении.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
comisora
сообщение 5.10.2021 - 17:14
Сообщение #2





Группа: Пользователи
Сообщений: 72
Регистрация: 27.12.2015
Пользователь №: 27815



2 passant

При крайнем беглом поиске можно встретить упоминания о "нормальном распределении".

https://hal.archives-ouvertes.fr/hal-00642634/document
https://www.tandfonline.com/doi/abs/10.1080...rnalCode=lsta20
https://www.tandfonline.com/doi/abs/10.1080...474939508800333
https://hal.archives-ouvertes.fr/hal-00915951/document
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2279561
https://www.math.nsysu.edu.tw/~lomn/homepag...nWatsonTest.pdf
https://doi.org/10.2307/1391900
https://doi.org/10.2307/1914122
https://doi.org/10.2307/1914122
https://www.econstor.eu/bitstream/10419/373...010_pid_512.pdf
https://www.inderscience.com/info/inarticle.php?artid=73370
https://www.york.ac.uk/depts/maths/histstat...les/welcome.htm
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
passant
сообщение 5.10.2021 - 18:13
Сообщение #3





Группа: Пользователи
Сообщений: 197
Регистрация: 27.04.2016
Пользователь №: 28223



Спасибо, но сомневаюсь про "нормальность". Иначе бы это явно бы писали. И считали-бы в пакетах. Ан-нет. Даже в Википедии есть такая весьма загадочная фраза: The critical values, dL,α and dU,α, vary by level of significance (α) and the degrees of freedom in the regression equation. Their derivation is complex - statisticians typically obtain them from the appendices of statistical texts.
Но за информацию - еще раз спасибо. Буду смотреть.

Сообщение отредактировал passant - 5.10.2021 - 18:13
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 5.10.2021 - 21:11
Сообщение #4





Группа: Пользователи
Сообщений: 796
Регистрация: 23.08.2010
Пользователь №: 22694



Теоретическое распределение статистики Дарбина - Уотсона - не какое-то там "нормальное", а совпадает с распределением квадратичной формы от нормально распределенных случайных величин, что вовсе не одно и то же. Вся теория изложена в оригинальных статьях Дарбина и Уотсона 1950 и 1951 гг.

Процедуре вычисления верхних хвостов таких квадратичных форм посвящена статья Имгофа (Imhoff, 1961). Кто умеет это делать - будет королем положения и вообще the star of the show.

Однако, предпринимались попытки на основе теоремы Андерсона (Anderson, 1948) аппроксимировать распределение статистики Д-У бета- распределением. Один из подходов описан в мануале Игоря к "АттеСтату". Правда, мне этот вариант не понравился.

Знаю, что эконометрический пакет Shazam вычисляет распределение статистики Д-У на основе процедуры Пана (Pan's procedure), во всех подробностях описанной (с работающими формулами - проверял лично) (R. Farebrother, 1980. Algorithm AS 153). C тестовым примером из Shazam у меня, помнится, все сошлось. Но это было так давно, что доведись мне начать разбираться, что там к чему, - и на свой собственный код я буду смотреть, аки овен на новые ворота.

Ну, вот, как-то так. Чем мог, тем помог.

P.S. Первая часть загадочной фразы из Википедии - это косноязычная попытка сообщить, что вычисление распределения данной статистики невозможно без знания матрицы дизайна. Из нее потом "высыпаются" необходимые для численных расчетов собственные значения. Подчеркнутую часть можно проигнорировать.

P.P.S. Приятно, конечно, что вы не даете этому ресурсу загнуться окончательно, пусть даже и в стилистике/манере моих любимцев - zoo и kont'а...

Сообщение отредактировал 100$ - 5.10.2021 - 21:27
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
passant
сообщение 5.10.2021 - 22:08
Сообщение #5





Группа: Пользователи
Сообщений: 197
Регистрация: 27.04.2016
Пользователь №: 28223



Цитата(100$ @ 5.10.2021 - 21:11) *
Ну, вот, как-то так. Чем мог, тем помог.


Спасибо! Мощная пища для размышлений.
P.S. Кто такие zoo и kont - не знаю, скорее всего я их на форуме не застал. Что касается этого форума - я действительно его считаю одним из самых высокопрофессиональных форумов на просторах русскоязычного интернета в сфере практического статистического анализа данных. (По крайней мере - таким он был, и хотелось бы что-бы таким и остался).

Сообщение отредактировал passant - 5.10.2021 - 22:09
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
comisora
сообщение 5.10.2021 - 23:31
Сообщение #6





Группа: Пользователи
Сообщений: 72
Регистрация: 27.12.2015
Пользователь №: 27815



2 all

Сугубо для поддержания беседы. Вот что нашёл в своей библиотеке:

"The Durbin?Watson test can be used to test the null hypothesis of no residual autocorrelation. More precisely, the null hypothesis of the Durbin?Watson test is that the first p autocorrelation coefficients are all 0, where p can be selected by the user. The p-value for a Durbin?Watson test is not trivial to compute, and different implementations use different computational methods. In the R function durbinWatsonTest() in the car package, p is called max.lag and has a default value of 1. The p-value is computed by durbinWatsonTest() using bootstrapping. The lmtes tpackage of R has another function, dwtest(), that computes the Durbin?Watson test, but only with p = 1. The function dwtest() uses either a normal approximation (default) or an exact algorithm to calculate the p-value." (doi: 10.1007/978-1-4939-2614-5)

Изображение взято из книги https://people.stern.nyu.edu/jsimonof/RegressionHandbook/
Эскизы прикрепленных изображений
Прикрепленное изображение
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 6.10.2021 - 00:33
Сообщение #7





Группа: Пользователи
Сообщений: 796
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(comisora @ 5.10.2021 - 23:31) *
2 all

Сугубо для поддержания беседы. Вот что нашёл в своей библиотеке:

"The Durbin?Watson test can be used to test the null hypothesis of no residual autocorrelation. More precisely, the null hypothesis of the Durbin?Watson test is that the first p autocorrelation coefficients are all 0, where p can be selected by the user. The p-value for a Durbin?Watson test is not trivial to compute, and different implementations use different computational methods. In the R function durbinWatsonTest() in the car package, p is called max.lag and has a default value of 1. The p-value is computed by durbinWatsonTest() using bootstrapping. The lmtes tpackage of R has another function, dwtest(), that computes the Durbin?Watson test, but only with p = 1. The function dwtest() uses either a normal approximation (default) or an exact algorithm to calculate the p-value." (doi: 10.1007/978-1-4939-2614-5)

Изображение взято из книги https://people.stern.nyu.edu/jsimonof/RegressionHandbook/


Ну, я могу поддержать беседу лишь предположением, что мне не придется объяснять вам разницу между распределением статистики (которая распределена ненормально) и распределением некоего функционала от квадратичной формы (именно поэтому там идет домножение на корень из объема выборки), которое может быть и можно аппроксимировать нормальным распределением.
В любом случае нужно экспериментировать. Патамушта можно и бутстреп-достигаемым уровнем значимости обойтись, и тупо нагенерировав тьму нормально распределенных с.в., состряпать соответствующую квадратичную форму и взять 95% процентиль. Лишь бы комп при этом не задымился.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 27.11.2021 - 14:35
Сообщение #8





Группа: Пользователи
Сообщений: 986
Регистрация: 10.04.2007
Из: Россия
Пользователь №: 4040



Модифицированная статистика критерия Дарбина-Уотсона d / 4 асимптотически подчиняется бета-распределению с параметрами, вычисляемыми определенным образом.

Сообщение отредактировал Игорь - 10.04.2022 - 18:52


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему