Шаговая регрессия Опции

[Pinus]

Тут вот сомнения берут...
Допустим, есть выборка объемом 70 ед. Если опираться на придержку - 10 наблюдений на один параметр модели (для получения надежного результата), то можем включить в модель 7 параметров (6 параметров при регрессорах плюс свободный член). Значит ли это, что если мы используем шаговый метод включения переменных (stepwise), то мы можем испытать в анализе только 6 различных регрессоров? Мне думается, что это не так, потому что метод работает последовательным включением переменных (с возможностью исключения), а значит выполнение ограничения по числу параметров модели для конкретного объема выборки следует проверять только на каждом шаге. Стало быть, в первичный набор можно включать, например, и 100 регрессоров, но если на каждом шаге и в конечной модели (на последнем шаге) их будет не более шести, то все OK.
Так ли это, кто как думает?

Сообщение отредактировал Pinus - 8.01.2011 - 14:59

[плав]

Тут вот сомнения берут...
Допустим, есть выборка объемом 70 ед. Если опираться на придержку - 10 наблюдений на один параметр модели (для получения надежного результата), то можем включить в модель 7 параметров (6 параметров при регрессорах плюс свободный член). Значит ли это, что если мы используем шаговый метод включения переменных (stepwise), то мы можем испытать в анализе только 6 различных регрессоров? Мне думается, что это не так, потому что метод работает последовательным включением переменных (с возможностью исключения), а значит выполнение ограничения по числу параметров модели для конкретного объема выборки следует проверять только на каждом шаге. Стало быть, в первичный набор можно включать, например, и 100 регрессоров, но если на каждом шаге и в конечной модели (на последнем шаге) их будет не более шести, то все OK.
Так ли это, кто как думает?

нет, не так, потому что на каждом шаге проверяются все регрессоры и отбирается наиболее сильно связанный с остаточными значениями от предыдущего шага. Кроме того, не забывайте о проблеме множественного тестирования. И еще, правило звучит 10 наблюдений на один параметр или 100, что больше. Соответственно для 7 параметров надо 100 наблюдений.

[Pinus]

нет, не так, потому что на каждом шаге проверяются все регрессоры и отбирается наиболее сильно связанный с остаточными значениями от предыдущего шага.

Но ведь в stepwise проверяются не все регрессоры сразу, а по одному (по очереди), так, что как будто других (еще не включенных) нет. И при каждой проверке в модели оказываются только переменные от предыдущего шага плюс эта, которая проверяется. Это в backward (метод исключения) берутся все переменные.
Я пробовал в SPSS считать. Если включаешь в модель, например семь переменных, а потом другой расчет - уже 17, но в которые входят те семь из первого, то и в первом, и во втором случае коэффициенты частной корреляции (а также значения критерия Стьюдента и p-значения) для этих семи переменных остаются одними и теми же. Разве это не говорит о том, что необходимость включения каждой переменной оценивается отдельно от других (не включенных)?
Или я не правильно понимаю?

Плав, если Вас не очень затруднит, подскажите навскидку один-два хороших источника (можно на англ.), где предлагается это правило - "10 наблюдений на один параметр или 100", чтобы можно было сослаться. А то я только у Айвазяна встречал об этом, но он говорит вообще: 5-10 наблюдений на один параметр.

Сообщение отредактировал Pinus - 11.01.2011 - 16:34