Выбросы и влияющие наблюдения Опции

[Pinus]

Народ, где можно найти толковое описание процедуры проверки данных на выбросы (статистика Кука и расстояние Махаланобиса) и влияющие наблюдения?

Сообщение отредактировал Pinus - 11.11.2009 - 02:56

[Pinus]

Я вот вчера размышлял, по всей видимости тут в другом дело. Судя по данным, остатки зависят от изменения переменных. На диаграмме рассеяния поле корреляции представляет собой сектор, расширяющийся от меньших значений предиктора к большим. Изучается зависимость диаметра древесного ствола на высоте 1,3 м от диаметра ствола у поверхности земли (модель находит применение при определении диаметра ствола по оставшемуся от нелегальной рубки пню для определения ущерба и начисления штрафов). Биологическая особенность такова, что с увеличением возраста дисперсия диаметра в нижней части ствола, особенно у шейки корня, увеличивается (у разных древесных пород в различной степени, но тем не менее это закономерность). Соответственно неизбежно увеличение остатков.
По идее такой повторный подход вполне должен быть корректен, если дисперсия остатков постоянна. Т.е. если изначально есть несколько наблюдений, остатки которых резко выделяются по отношению к однородной дисперсии остатков остальных наблюдений. И даже если на втором повторе какие-то из пограничных значений из-за уменьшения стандартной ошибки тоже стали выбросами, то на этой второй проверке все должно и заканчиваться. Это вполне должно работать.
Если же наблюдается постепенное увеличение дисперсии остатков и если такое увеличение не связано с ошибками получения данных или аномалиями изучаемого процесса, а обусловлено особой естественной структурой данных, то тогда наверно будет некорректно. Если делать повторные проверки при таких данных, то пожалуй может дойти до того, что в конечном счете из первоначальной выборки останется какая-нибудь треть, а то и того меньше. Но можно ли в такой ситуации вообще применять рассматриваемые критерии проверки на выбросы? И если нет, то как тогда быть?

Детекция влияющих наблюдений в такой ситуации тоже проблематична. Если в максимальных значениях предиктора наблюдаются максимальные остатки (расширяющийся сектор), то все крайние наблюдения (за исключением тех, которые находятся на самой линии регрессии или близко к ней) неизбежно будут влияющими. И если их формально исключать, то при повторных проверках другие крайние значения тоже становятся влияющими, и так до изнеможения.
Есть еще такие мысли. Мы в разных темах говорили о том, что распределение переменных не является предпосылкой для регрессионного анализа. Но ведь влияние наблюдений на регрессию зависит от положения центра тяжести совокупности, и если распределение предиктора асимметрично, то центр тяжести смещен, а значит увеличивается плечо воздействия. Поэтому может быть в регрессионном анализе все таки (для некоторых его аспектов) желательны нормальные, равномерные или другие симметричные (пусть и мультимодальные) и не имеющие тяжелых хвостов распределения предикторов? Если распределения не являются таковыми, то можно преобразовать выборочную совокупность, скажем применением расслоенного отбора. Как думаете?

Прикрепленные файлы

 D1_3_от_Dпня.rar ( 2,74 килобайт ) Кол-во скачиваний: 552

 

[Игорь]

Есть еще такие мысли. Мы в разных темах говорили о том, что распределение переменных не является предпосылкой для регрессионного анализа. Но ведь влияние наблюдений на регрессию зависит от положения центра тяжести совокупности, и если распределение предиктора асимметрично, то центр тяжести смещен, а значит увеличивается плечо воздействия. Поэтому может быть в регрессионном анализе все таки (для некоторых его аспектов) желательны нормальные, равномерные или другие симметричные (пусть и мультимодальные) и не имеющие тяжелых хвостов распределения предикторов? Если распределения не являются таковыми, то можно преобразовать выборочную совокупность, скажем применением расслоенного отбора. Как думаете?

Предположим, есть зависимость (функциональная) Y от X. При этом X точно задается, а Y измеряется с ошибками. Требование к данным ошибкам измерений Y - нормальность распределения [ошибок относительно неизвестного истинного Y, а не относительно среднего Y].

Но тут возможны разные ситуации. Во-первых, функция Y от X может быть известной [с точностью до параметров]. Во-вторых, она может быть неизвестной, но мы подберем нечто похожее, анализируя имеющиеся опытные данные - это параметрический подход. В-третьих, такую функцию подобрать не удастся (она может не иметь представления в виде совокупности элементарных функций) - это непараметрический подход (пример - метод скользящего среднего).

Обычно в регрессионном анализе рассматривают параметрические модели, основанные на нормальности ошибок. Что такое выбросы в такой трактовке - это наблюдения, критически отклоняющиеся от МОДЕЛИ (для ДРУГОЙ модели они могут не быть выбросами). Обнаружив и удалив данные выбросы, мы получим более хорошую МОДЕЛЬ (если она, естественно, была адекватно выбрана). Поэтому такая ситуация, когда после n прогонов из массива численностью n у нас ничего не останется, не должна иметь места при адекватной МОДЕЛИ.

К примеру, тестируя одноименный модуль AtteStat, я взял некоторую функциональную зависимость. 1. Затем слегка "испортил" ее. Затем подобрал [известную мне] регрессионную кривую. Все получилось хорошо. Параметры функции вычислены похожими на истинные. Выбросов не обнаружилось. 2. Теперь "испортил" один из Y сильно (раз в 5). Построил кривую. Данная испорченная варианта было локализована AtteStat как выброс. Убрал ее. Снова построил кривую. Выбросов нет. Все в порядке.

Считал в Attestate, но там нет DFFITS и DFBETAS (Игорь, если у Вас будет на это время, то хорошо бы включить, в т.ч. и другие меры влияния).

DFFITS в регрессионном анализе AtteStat нет. Он есть во множественной регрессии (в модуле "Распознавание образов..."). Но расчеты показывают, что обычная проверка на равенство стандартизованного остатка нулю по критерию Стьюдента (это в AtteStat имеется) дает точно такой же результат. Так нужно ли загромождать? А вот DFBETAS для исследования влияния измерений на параметры модели, наверное, нужно сделать.

Сообщение отредактировал Игорь - 3.02.2010 - 14:24