Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Шаговая регрессия
Pinus
сообщение 8.01.2011 - 14:59
Сообщение #1


Дух форума
*

Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Тут вот сомнения берут...
Допустим, есть выборка объемом 70 ед. Если опираться на придержку - 10 наблюдений на один параметр модели (для получения надежного результата), то можем включить в модель 7 параметров (6 параметров при регрессорах плюс свободный член). Значит ли это, что если мы используем шаговый метод включения переменных (stepwise), то мы можем испытать в анализе только 6 различных регрессоров? Мне думается, что это не так, потому что метод работает последовательным включением переменных (с возможностью исключения), а значит выполнение ограничения по числу параметров модели для конкретного объема выборки следует проверять только на каждом шаге. Стало быть, в первичный набор можно включать, например, и 100 регрессоров, но если на каждом шаге и в конечной модели (на последнем шаге) их будет не более шести, то все OK.
Так ли это, кто как думает?

Сообщение отредактировал Pinus - 8.01.2011 - 14:59
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
плав
сообщение 10.01.2011 - 10:49
Сообщение #2


Дух форума
*

Группа: Пользователи
Сообщений: 1013
Регистрация: 4.10.2006
Пользователь №: 1933



Цитата(Pinus @ 8.01.2011 - 14:59) *
Тут вот сомнения берут...
Допустим, есть выборка объемом 70 ед. Если опираться на придержку - 10 наблюдений на один параметр модели (для получения надежного результата), то можем включить в модель 7 параметров (6 параметров при регрессорах плюс свободный член). Значит ли это, что если мы используем шаговый метод включения переменных (stepwise), то мы можем испытать в анализе только 6 различных регрессоров? Мне думается, что это не так, потому что метод работает последовательным включением переменных (с возможностью исключения), а значит выполнение ограничения по числу параметров модели для конкретного объема выборки следует проверять только на каждом шаге. Стало быть, в первичный набор можно включать, например, и 100 регрессоров, но если на каждом шаге и в конечной модели (на последнем шаге) их будет не более шести, то все OK.
Так ли это, кто как думает?

нет, не так, потому что на каждом шаге проверяются все регрессоры и отбирается наиболее сильно связанный с остаточными значениями от предыдущего шага. Кроме того, не забывайте о проблеме множественного тестирования. И еще, правило звучит 10 наблюдений на один параметр или 100, что больше. Соответственно для 7 параметров надо 100 наблюдений.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 11.01.2011 - 16:30
Сообщение #3


Дух форума
*

Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Цитата(плав @ 10.01.2011 - 17:49) *
нет, не так, потому что на каждом шаге проверяются все регрессоры и отбирается наиболее сильно связанный с остаточными значениями от предыдущего шага.

Но ведь в stepwise проверяются не все регрессоры сразу, а по одному (по очереди), так, что как будто других (еще не включенных) нет. И при каждой проверке в модели оказываются только переменные от предыдущего шага плюс эта, которая проверяется. Это в backward (метод исключения) берутся все переменные.
Я пробовал в SPSS считать. Если включаешь в модель, например семь переменных, а потом другой расчет - уже 17, но в которые входят те семь из первого, то и в первом, и во втором случае коэффициенты частной корреляции (а также значения критерия Стьюдента и p-значения) для этих семи переменных остаются одними и теми же. Разве это не говорит о том, что необходимость включения каждой переменной оценивается отдельно от других (не включенных)?
Или я не правильно понимаю?

Плав, если Вас не очень затруднит, подскажите навскидку один-два хороших источника (можно на англ.), где предлагается это правило - "10 наблюдений на один параметр или 100", чтобы можно было сослаться. А то я только у Айвазяна встречал об этом, но он говорит вообще: 5-10 наблюдений на один параметр.

Сообщение отредактировал Pinus - 11.01.2011 - 16:34
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
плав
сообщение 11.01.2011 - 19:49
Сообщение #4


Дух форума
*

Группа: Пользователи
Сообщений: 1013
Регистрация: 4.10.2006
Пользователь №: 1933



Цитата(Pinus @ 11.01.2011 - 16:30) *
Но ведь в stepwise проверяются не все регрессоры сразу, а по одному (по очереди), так, что как будто других (еще не включенных) нет. И при каждой проверке в модели оказываются только переменные от предыдущего шага плюс эта, которая проверяется. Это в backward (метод исключения) берутся все переменные.
Я пробовал в SPSS считать. Если включаешь в модель, например семь переменных, а потом другой расчет - уже 17, но в которые входят те семь из первого, то и в первом, и во втором случае коэффициенты частной корреляции (а также значения критерия Стьюдента и p-значения) для этих семи переменных остаются одними и теми же. Разве это не говорит о том, что необходимость включения каждой переменной оценивается отдельно от других (не включенных)?
Или я не правильно понимаю?

Плав, если Вас не очень затруднит, подскажите навскидку один-два хороших источника (можно на англ.), где предлагается это правило - "10 наблюдений на один параметр или 100", чтобы можно было сослаться. А то я только у Айвазяна встречал об этом, но он говорит вообще: 5-10 наблюдений на один параметр.

С ходу ссылку не найду, было, по-моему в Jahn, Hale, Die Faktoranalyse.
Что касается же stepwise, то все не просто. Берем 7 регрессоров. На первом этапе коррелируем каждый из них с исходом. При номинальном уровне ошибки 0,05 вздуваем ее до 0,3. Затем на втором этапе вздуваем ее до 0,26 и т.д. Иными словами мы на каждом этапе резко увеличиваем ошибку I типа. Если еще на это наложить малый размер выборки, при котором вероятности обеих ошибок резко растут... Понятно, почему stepwise в принципе не очень хороший метод, а уж при малом количестве наблюдений и подавно.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Pinus
сообщение 12.01.2011 - 12:17
Сообщение #5


Дух форума
*

Группа: Пользователи
Сообщений: 244
Регистрация: 28.08.2009
Пользователь №: 6286



Спасибо!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему