Нелинейная регрессия Опции

[Pinus]

Стал разбираться с оценкой параметров функций роста.
В Statistica в модуле Nonlinear Estimation есть раздел получения МНК-оценок параметров пользовательских функций (User-specified regression, least squares). Предлагаются два итерационных метода: Gauss-Newton (Гаусса-Ньютона) и Levenberg-Marquardt (Левенберга-Маркварта).
Нашел книгу с неплохим описанием этих методов, на которую многие ссылаются:
Дэннис Д., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. ? М.: Мир, 1988. ? 440 с. (есть в инете).
Также ссылаются на:
Бард Й. Нелинейное оценивание параметров. ? М.: Статистика, 1979. ? 349 с.
Демиденко Е.З. Линейная и нелинейная регрессии. ? М.: Финансы и статистика, 1981. ? 302 с.
Эти книги в инете не нашел.

Методы по своим характеристикам близки, однако Levenberg-Marquardt отдается предпочтение. Оба метода являются локально сходящимися. В связи с этим возникает вопрос выбора стартовых значений. Существуют ли какие-либо подходы определения локальной области?

[DrgLena]

И мне так показалось.

Вне зависимости от модели всегда можно оценить полную дисперсию (SST), долю дисперсии приходящуюся на остатки (SSE), и долю дисперсии относительно регрессионной модели (SSR=SST-SSE). Отношение SSR/SST - объясненная доля дисперсии в регрессионной модели. Эта доля эквивалентна R-квадрат. Даже если распределение зависимой переменной не является нормальным, это отношение помогает оценить насколько хорошо подобранная модель согласуется с исходными данными.

В программе Statistica для линейной, экспоненциальной и заданной пользователем моделей выводится R-квадрат, а для моделей логит и пробит модуль нелинейное оценивание использует оценивание по методу максимума правдоподобия. При этом непосредственно сравнивается правдоподобие нулевой модели (все параметры равны нулю) с правдоподобием подогнанной модели и вычисляется хи-кв.

[Pinus]

В программе Statistica для линейной, экспоненциальной и заданной пользователем моделей выводится R-квадрат, а для моделей логит и пробит модуль нелинейное оценивание использует оценивание по методу максимума правдоподобия. При этом непосредственно сравнивается правдоподобие нулевой модели (все параметры равны нулю) с правдоподобием подогнанной модели и вычисляется хи-кв.

Statistica 6 в модуле Nonlinear Estimation в разделе User-specified regression, least squares выдает некую Proportion of variance accounted for, а R^2 нет. Этот параметр близок к R^2, рассчитанному по формуле, но отличается. И причина вроде не в округлениях...

Судя по формуле для стандартной ошибки регрессии, она тоже расчитывается одинаково для линейной и нелинейной регрессии. У кого на сей счет какое мнение?

[Игорь]

Судя по формуле для стандартной ошибки регрессии, она тоже расчитывается одинаково для линейной и нелинейной регрессии. У кого на сей счет какое мнение?

Стандартная ошибка регрессии (регрессионной модели) считается одинаково для любых моделей.

Если говорить об оценках параметров регрессии (модели), то нет, неодинаково. Стандартная ошибка вычисляется через стандартное отклонение. В формулу стандартного отклонения входит матрица частных производных модели по параметрам. Разные модели - разные производные. В формулу стандартного отклонения входит также дисперсия ошибки регрессии. Она считается по той же самой формуле для всех моделей (если опять же, как в обсуждении выше, не подставлять в формулу саму модель, а использовать числовые значения ее оценок).

Сообщение отредактировал Игорь - 3.12.2010 - 15:59