 Выбросы и влияющие наблюдения |
Здравствуйте, гость ( Вход | Регистрация )
 11.11.2009 - 02:55
Сообщение
#1
|
|
|
Группа: Пользователи Сообщений: 244 Регистрация: 28.08.2009 Пользователь №: 6286  |
Народ, где можно найти толковое описание процедуры проверки данных на выбросы (статистика Кука и расстояние Махаланобиса) и влияющие наблюдения?
Сообщение отредактировал Pinus - 11.11.2009 - 02:56 |
 |
 
|
 |
|
 |
Ответов
 19.11.2009 - 17:19
Сообщение
#2
|
|
|
Группа: Пользователи Сообщений: 23 Регистрация: 24.07.2009 Пользователь №: 6183 |
DoctorStat затронул очень интересную тему.
Обратите внимание на то, что все рассмотренные здесь методы для определения выбросов и влиятельных наблюдений основаны на классическом предположении о нормальном распределении ошибок линейной регрессии. Например, для стандартизации остатков используется стандартное отклонение, для расстояния Махаланобиса - среднеее арифметическое и т.д. Но если мы ищем выбросы и их действительно много, то о какой нормальности может идти речь. Явное противоречие. Думаю, что именно поэтому все эти методы очень относительны, а если имеется много атипичных наблюдений, то они просто не применимы. В таких случаях нужно подумать о замене среднего арифметического и стандартного отклонения их робастными эквивалентами.  Андрей
|
|
|
|
|
|
|
19.11.2009 - 17:55
Сообщение
#3
|
|
|
Группа: Пользователи Сообщений: 244 Регистрация: 28.08.2009 Пользователь №: 6286 |
Цитата(avorotniak @ 20.11.2009 - 00:19)  Но если мы ищем выбросы и их действительно много, то о какой нормальности может идти речь. Я читал, что если выбросов более 3-4, то следует задуматься об однородности совокупности. В этом случае необходим тщательный анализ условий появления таких наблюдений, которые могут относится, например, к процессу с другими условиями, которые не были учтены. |
|
|
|
|
|
|
19.11.2009 - 19:05
Сообщение
#4
|
|
|
Группа: Пользователи Сообщений: 23 Регистрация: 24.07.2009 Пользователь №: 6183 |
Цитата(Pinus @ 19.11.2009 - 17:55) Я читал, что если выбросов более 3-4, то следует задуматься об однородности совокупности. В этом случае необходим тщательный анализ условий появления таких наблюдений, которые могут относится, например, к процессу с другими условиями, которые не были учтены. Согласен, но лучше говорить о процентном числе выбросов в отношении ко всем наблюдениям. Для одних целей 5-10% выбросов является допустимым, для других подходит и 10-20%. Все это довольно относительно. Андрей
|
|
|
|
|
|
Сообщений в этой теме
Pinus Выбросы и влияющие наблюдения 11.11.2009 - 02:55
DrgLena Я использую статистику критерия Граббса, если про... 11.11.2009 - 14:58 Pinus Мне для регрессии. В Statistica предлагается два к... 12.11.2009 - 02:14 avorotniak Выброс (outlier) определяется отдаленностью отдель... 12.11.2009 - 05:46
Pinus Цитата(avorotniak @ 12.11.2009 - 13... 14.11.2009 - 08:10
Pinus Цитата(avorotniak @ 12.11.2009 - 12... 16.11.2009 - 15:58 avorotniak Цитата(Pinus @ 16.11.2009 - 15:58) А... 16.11.2009 - 22:06 nokh > Pinus. Посмотрел в нескольких русскоязычных к... 12.11.2009 - 17:28 avorotniak Сразу хотелось бы уточнить, что дистанция Махалано... 12.11.2009 - 21:50 nokh Большое спасибо, посмотрю. Кому нужно: http://phot... 12.11.2009 - 22:24 Pinus Avorotniak, большое спасибо за ответ!
Если не ... 13.11.2009 - 14:24 avorotniak Вопрос:
Регрессия простая нелинейная (полином 2-го... 13.11.2009 - 17:37 Pinus nokh, не встречали ли где про Кука? При каких усло... 13.11.2009 - 14:42 avorotniak Извините, небольшая поправка к следующей фразе:
О... 13.11.2009 - 18:16 DrgLena Цитата(Pinus @ 14.11.2009 - 08:10) Н... 14.11.2009 - 14:24 avorotniak Правильно по поводу перцентиля 50, однако поищите ... 14.11.2009 - 14:28 Pinus DrgLena, спасибо!
Андрей, тоже спасибо! Ск... 15.11.2009 - 02:30 Pinus Андрей, получается, что статистика Кука и для выбр... 15.11.2009 - 14:04 Pinus Кто может подсказать, как правильно перевести Lint... 15.11.2009 - 16:55 avorotniak Интересный и глубокий вопрос.
Хотелось бы еще раз ... 15.11.2009 - 17:10 Pinus Цитата(avorotniak @ 16.11.2009 - 00... 16.11.2009 - 05:44 avorotniak Абсолютно согласен. Извините за дезинформацию. 16.11.2009 - 07:34 Pinus Вообще книги на русском, в которых в той или иной ... 16.11.2009 - 15:53 Pinus Как понять Deleted Residual (удаленные остатки)? Э... 17.11.2009 - 17:09 nokh Цитата(Pinus @ 17.11.2009 - 20:09) К... 18.11.2009 - 18:15 avorotniak [quote name='nokh' date='18.11.2009 - ... 18.11.2009 - 22:18 Игорь Цитата(nokh @ 18.11.2009 - 19:15) Лу... 30.11.2009 - 10:13 Pinus Цитата(Игорь @ 30.11.2009 - 17:13) С... 30.11.2009 - 16:58 nokh Цитата(Игорь @ 30.11.2009 - 12:13) Н... 30.11.2009 - 19:11 Игорь Цитата(nokh @ 30.11.2009 - 20:11) ст... 30.11.2009 - 20:58 nokh Цитата(Игорь @ 30.11.2009 - 22:58) М... 30.11.2009 - 21:43 nokh Сегодня исправил описку в своём предыдущем посте -... 19.11.2009 - 15:06 Pinus Цитата(nokh @ 19.11.2009 - 22:06) В ... 23.11.2009 - 12:48 nokh Цитата(Pinus @ 23.11.2009 - 15:48) П... 25.11.2009 - 05:45 Green Leverage - видела перевод как "воздействие... 19.11.2009 - 15:20 DoctorStat Я не специалист по выбросам, но с точки зрения ста... 19.11.2009 - 16:16 avorotniak Пересчитал вручную стандартизированые остатки. Сог... 19.11.2009 - 16:50 Pinus Цитата(avorotniak @ 20.11.2009 - 02... 22.01.2010 - 05:43 Pinus Позвольте внести мой скромный вклад.
Вчера тоже ра... 19.11.2009 - 17:36 Pinus nokh, развейте мои дилетантские соображения. Не по... 20.11.2009 - 13:58 nokh Пока не готов ответить, ещё почитаю. 20.11.2009 - 15:50 nokh Вот что по этому поводу есть в википедии:
"..... 23.11.2009 - 08:08 Pinus Цитата(nokh @ 23.11.2009 - 15:08) Т.... 23.11.2009 - 12:44 Pinus Спасибо! 25.11.2009 - 13:14 Игорь По рассматриваемой теме очень рекомендую источник:... 29.11.2009 - 19:50 Игорь 1. В книге Дэйвида "Порядковые статистики... 1.12.2009 - 08:55 Pinus Цитата(Игорь @ 1.12.2009 - 15:55) Ка... 3.12.2009 - 07:57 Игорь Цитата(Pinus @ 3.12.2009 - 07:57) Иг... 3.12.2009 - 08:02 Pinus Игорь, я просчитал. С Вашим примером сошлось. Но п... 5.12.2009 - 01:36 Игорь Цитата(Pinus @ 5.12.2009 - 01:36) Иг... 5.12.2009 - 12:36 DrgLena Цитата(Игорь @ 1.12.2009 - 09:55) а ... 1.12.2009 - 12:29 Игорь Цитата(DrgLena @ 1.12.2009 - 13:29) ... 1.12.2009 - 12:55 Pinus Цитата(DrgLena @ 1.12.2009 - 19:29) ... 3.12.2009 - 08:50 Игорь Цитата(DrgLena @ 1.12.2009 - 13:29) ... 3.12.2009 - 10:48 DrgLena Игорь, за AtteStat ВАМ не просто большое спасибо, ... 1.12.2009 - 13:34 Pinus Игорь, спасибо за ссылки! 3.12.2009 - 12:21 Pinus Игорь, что-то совсем другие цифры у меня получаютс... 3.12.2009 - 14:35 Игорь Цитата(Pinus @ 3.12.2009 - 15:35) Иг... 3.12.2009 - 18:44 Pinus Цитата(Игорь @ 4.12.2009 - 01:44) Ко... 4.12.2009 - 12:01 Игорь Цитата(Pinus @ 4.12.2009 - 13:01) В ... 4.12.2009 - 13:27 DrgLena Игорь, если готовите дополнение к AtteStat, посмо... 3.12.2009 - 15:37 nokh Рассмотрение классического примера об ирисах Фишер... 3.12.2009 - 20:05 Pinus Игорь, если не трудно дайте ссылку откуда вы брали... 4.12.2009 - 14:47 Игорь Цитата(Pinus @ 4.12.2009 - 15:47) Иг... 4.12.2009 - 21:02 Pinus Nokh, попробуйте на своем софте (в программах, кот... 5.12.2009 - 02:06 nokh Ирисы считать не хочу: поскольку использовать OLS-... 5.12.2009 - 02:44 DrgLena Задачка имеет два решения относительно анализа ост... 5.12.2009 - 17:29 Игорь Цитата(DrgLena @ 5.12.2009 - 17:29) ... 5.12.2009 - 21:11 Pinus Цитата(DrgLena @ 6.12.2009 - 00:29) ... 6.12.2009 - 00:32 nokh Закончил вчерне свой труд, конструктивная критика ... 6.12.2009 - 11:31 DrgLena Nokh, спасибо большое, хорошая работа, многое стан... 7.12.2009 - 04:05 Игорь Цитата(nokh @ 6.12.2009 - 11:31) Зак... 7.12.2009 - 08:03 nokh Как показал анализ, необходимых и достаточных мер ... 7.12.2009 - 08:34 Игорь Цитата(nokh @ 7.12.2009 - 08:34) Все... 7.12.2009 - 08:45 nokh Цитата(Игорь @ 7.12.2009 - 10:45) Не... 7.12.2009 - 09:03 Игорь Мне очень понравились формулы nokh. Если считать п... 7.12.2009 - 18:33 Игорь Цитата(Игорь @ 7.12.2009 - 18:33) Вы... 8.12.2009 - 12:52 DrgLena Цитата(Игорь @ 7.12.2009 - 08:03) Уж... 7.12.2009 - 12:41 DrgLena Отличная работа, как говорят математики, что и сле... 7.12.2009 - 19:49 Pinus Не берусь утверждать, но может быть, когда берется... 8.12.2009 - 15:33 nokh >Игорь. Не знаю можно ли эти меры считать эквив... 8.12.2009 - 16:09 avorotniak Думаю, что одной из причин различий в формулах рас... 8.12.2009 - 19:57 DrgLena Мне удалось найти один из двух источников на котор... 8.12.2009 - 21:50 Игорь Цитата(DrgLena @ 8.12.2009 - 22:50) ... 9.12.2009 - 07:32 DrgLena Речь шла о диагностике, обязательно ли для получен... 9.12.2009 - 13:31 avorotniak [quote name='DrgLena' date='9.12.2009 ... 10.12.2009 - 02:20 Игорь Только факты.
1. Chattejee, Hadi, 1988.
С. 117, ф... 10.12.2009 - 07:22 Pinus Возникла такая проблема.
Простая линейная регресси... 2.02.2010 - 10:37 Игорь Цитата(Pinus @ 2.02.2010 - 11:37) Во... 2.02.2010 - 17:02 Pinus Цитата(Игорь @ 3.02.2010 - 00:02) А ... 3.02.2010 - 03:06 nokh Цитата(Pinus @ 2.02.2010 - 12:37) Во... 2.02.2010 - 18:17 Pinus Я вот вчера размышлял, по всей видимости тут в дру... 3.02.2010 - 03:11 Игорь Цитата(Pinus @ 3.02.2010 - 04:11) Ес... 3.02.2010 - 12:12 nokh Цитата(Pinus @ 3.02.2010 - 05:11) Мы... 3.02.2010 - 20:28 Pinus Цитата(nokh @ 4.02.2010 - 03:28) А з... 4.02.2010 - 01:59 Pinus Nokh, в Вашем конспекте по выбросам и влияющим наб... 4.03.2010 - 01:38 nokh В конспекте все основные ссылки были. Пока нет вре... 6.03.2010 - 19:49 |