Выбросы и влияющие наблюдения Опции

[Pinus]

Народ, где можно найти толковое описание процедуры проверки данных на выбросы (статистика Кука и расстояние Махаланобиса) и влияющие наблюдения?

Сообщение отредактировал Pinus - 11.11.2009 - 02:56

[Pinus]

Я вот вчера размышлял, по всей видимости тут в другом дело. Судя по данным, остатки зависят от изменения переменных. На диаграмме рассеяния поле корреляции представляет собой сектор, расширяющийся от меньших значений предиктора к большим. Изучается зависимость диаметра древесного ствола на высоте 1,3 м от диаметра ствола у поверхности земли (модель находит применение при определении диаметра ствола по оставшемуся от нелегальной рубки пню для определения ущерба и начисления штрафов). Биологическая особенность такова, что с увеличением возраста дисперсия диаметра в нижней части ствола, особенно у шейки корня, увеличивается (у разных древесных пород в различной степени, но тем не менее это закономерность). Соответственно неизбежно увеличение остатков.
По идее такой повторный подход вполне должен быть корректен, если дисперсия остатков постоянна. Т.е. если изначально есть несколько наблюдений, остатки которых резко выделяются по отношению к однородной дисперсии остатков остальных наблюдений. И даже если на втором повторе какие-то из пограничных значений из-за уменьшения стандартной ошибки тоже стали выбросами, то на этой второй проверке все должно и заканчиваться. Это вполне должно работать.
Если же наблюдается постепенное увеличение дисперсии остатков и если такое увеличение не связано с ошибками получения данных или аномалиями изучаемого процесса, а обусловлено особой естественной структурой данных, то тогда наверно будет некорректно. Если делать повторные проверки при таких данных, то пожалуй может дойти до того, что в конечном счете из первоначальной выборки останется какая-нибудь треть, а то и того меньше. Но можно ли в такой ситуации вообще применять рассматриваемые критерии проверки на выбросы? И если нет, то как тогда быть?

Детекция влияющих наблюдений в такой ситуации тоже проблематична. Если в максимальных значениях предиктора наблюдаются максимальные остатки (расширяющийся сектор), то все крайние наблюдения (за исключением тех, которые находятся на самой линии регрессии или близко к ней) неизбежно будут влияющими. И если их формально исключать, то при повторных проверках другие крайние значения тоже становятся влияющими, и так до изнеможения.
Есть еще такие мысли. Мы в разных темах говорили о том, что распределение переменных не является предпосылкой для регрессионного анализа. Но ведь влияние наблюдений на регрессию зависит от положения центра тяжести совокупности, и если распределение предиктора асимметрично, то центр тяжести смещен, а значит увеличивается плечо воздействия. Поэтому может быть в регрессионном анализе все таки (для некоторых его аспектов) желательны нормальные, равномерные или другие симметричные (пусть и мультимодальные) и не имеющие тяжелых хвостов распределения предикторов? Если распределения не являются таковыми, то можно преобразовать выборочную совокупность, скажем применением расслоенного отбора. Как думаете?

Прикрепленные файлы

 D1_3_от_Dпня.rar ( 2,74 килобайт ) Кол-во скачиваний: 553

 

[nokh]

Мы в разных темах говорили о том, что распределение переменных не является предпосылкой для регрессионного анализа. Но ведь влияние наблюдений на регрессию зависит от положения центра тяжести совокупности, и если распределение предиктора асимметрично, то центр тяжести смещен, а значит увеличивается плечо воздействия. Поэтому может быть в регрессионном анализе все таки (для некоторых его аспектов) желательны нормальные, равномерные или другие симметричные (пусть и мультимодальные) и не имеющие тяжелых хвостов распределения предикторов? Если распределения не являются таковыми, то можно преобразовать выборочную совокупность, скажем применением расслоенного отбора. Как думаете?

А зачем расслоенный отбор - никаких признаков качественных различий в регрессиях молодых и более старых деревьев нет. Наблюдаемая картина - типичный случай гетероскедастичности и бороться с ней можно преобразованием данных. Используя Бокса-Кокса из AtteStat для D1.3 лямбда = 0,607337058, а для Dпня лямбда = 0,503564775. Т.е более нормально распределены не исходные показатели а исходные в степени около 0,5 - т.е. квадратные корни из них. Почему - не знаю. Но попробуйте работать не с диаметрами, а корнями из них.

[Pinus]

А зачем расслоенный отбор - никаких признаков качественных различий в регрессиях молодых и более старых деревьев нет.

Я имел ввиду не для выложенного примера, а вообще общий случай, если распределение предиктора сильно асимметрично. В моем исследовании в принципе такое наблюдается. Деревья в городе садят по большей мере стихийно (кто попало, где попало и сколько попало). Поэтому распределение возраста имеющихся насаждений не является отражением каких-то биологических закономерностей, а просто случайно. А если еще учесть, что для измерений берутся особи нормального роста и развития (без дефектов), то случайность структуры еще более усиливается. Предположим, оно сильно асимметрично (кол-во молодых деревьев сильно преобладает над кол-вом старых). И если делать выборку, например, простым случайным отбором или направленную выборку по какой-то схеме, то в целом распределение в выборке будет подобно распределению общей совокупности, а значит такими же будут и распределения переменных, которые сильно коррелируют с возрастом (в т.ч. диаметр ствола). И стало быть, если строить регрессию по такой выборке, то получим смещение центра тяжести, что может существенно повлиять на оценку влияния отдельных наблюдений.
Поэтому в качестве варианта выхода из ситуации предлагаю расслоенный отбор с непропорциональным размещением. Т.е. разбить первичную совокупность на слои (страты), однородные например по возрасту. И производить случайную выборку в каждом слое в таких пропорциях, которые обеспечат нам более-менее симметричное распределение предикторов. Поскольку нас не интересуют параметры стихийно образованного и потом искусственно преобразованного распределения (нас интересуют просто пары значений предиктора и отклика для изучения регрессии), то нам не надо заботится об особых пропорциях объемов в стратах для минимизации дисперсии этих параметров. А несмещенность оценок параметров, если бы они были нам нужны, при непропорциональном размещении все равно обеспечивается. Если же говорить о несмещенности оценок регрессии, то она обеспечивается случайным отбором в каждом из стратов.
Таким образом, мы можем не довольствоваться тем распределением переменных, которое у нас имеется (и соответственно не мучиться вопросом соответствует ли оно регрессионному или любому другому анализу), а получать такое распределение, какое нам надо. Если же выборка уже получена, то также можно сделать расслоенный отбор, но только в каких-то стратах взять все наблюдения, а в каких-то часть. Может быть конечно это не совсем та цель, которая обычно ставится перед расслоенным отбором, но вроде бы нарушений нет.
А то получается так, что мы говорим, что распределение переменных неважно и задаемся определенным необходимым объемом выборки, а может быть получится, что этот объем почти весь обеспечен за счет небольшого интервала предиктора, а в остальных интервалах представленность данных маленькая. Вот и будут разные перекосы (в т.ч. в оценках влияния).
Такие вот мысли. А как Вы по этому поводу думаете?