Тут вот сомнения берут...
Допустим, есть выборка объемом 70 ед. Если опираться на придержку - 10 наблюдений на один параметр модели (для получения надежного результата), то можем включить в модель 7 параметров (6 параметров при регрессорах плюс свободный член). Значит ли это, что если мы используем шаговый метод включения переменных (stepwise), то мы можем испытать в анализе только 6 различных регрессоров? Мне думается, что это не так, потому что метод работает последовательным включением переменных (с возможностью исключения), а значит выполнение ограничения по числу параметров модели для конкретного объема выборки следует проверять только на каждом шаге. Стало быть, в первичный набор можно включать, например, и 100 регрессоров, но если на каждом шаге и в конечной модели (на последнем шаге) их будет не более шести, то все OK.
Так ли это, кто как думает?

нет, не так, потому что на каждом шаге проверяются все регрессоры и отбирается наиболее сильно связанный с остаточными значениями от предыдущего шага. Кроме того, не забывайте о проблеме множественного тестирования. И еще, правило звучит 10 наблюдений на один параметр или 100, что больше. Соответственно для 7 параметров надо 100 наблюдений.

Но ведь в stepwise проверяются не все регрессоры сразу, а по одному (по очереди), так, что как будто других (еще не включенных) нет. И при каждой проверке в модели оказываются только переменные от предыдущего шага плюс эта, которая проверяется. Это в backward (метод исключения) берутся все переменные.
Я пробовал в SPSS считать. Если включаешь в модель, например семь переменных, а потом другой расчет - уже 17, но в которые входят те семь из первого, то и в первом, и во втором случае коэффициенты частной корреляции (а также значения критерия Стьюдента и p-значения) для этих семи переменных остаются одними и теми же. Разве это не говорит о том, что необходимость включения каждой переменной оценивается отдельно от других (не включенных)?
Или я не правильно понимаю?

Плав, если Вас не очень затруднит, подскажите навскидку один-два хороших источника (можно на англ.), где предлагается это правило - "10 наблюдений на один параметр или 100", чтобы можно было сослаться. А то я только у Айвазяна встречал об этом, но он говорит вообще: 5-10 наблюдений на один параметр.

С ходу ссылку не найду, было, по-моему в Jahn, Hale, Die Faktoranalyse.
Что касается же stepwise, то все не просто. Берем 7 регрессоров. На первом этапе коррелируем каждый из них с исходом. При номинальном уровне ошибки 0,05 вздуваем ее до 0,3. Затем на втором этапе вздуваем ее до 0,26 и т.д. Иными словами мы на каждом этапе резко увеличиваем ошибку I типа. Если еще на это наложить малый размер выборки, при котором вероятности обеих ошибок резко растут... Понятно, почему stepwise в принципе не очень хороший метод, а уж при малом количестве наблюдений и подавно.

Спасибо!