Нелинейная регрессия Опции

[Pinus]

Стал разбираться с оценкой параметров функций роста.
В Statistica в модуле Nonlinear Estimation есть раздел получения МНК-оценок параметров пользовательских функций (User-specified regression, least squares). Предлагаются два итерационных метода: Gauss-Newton (Гаусса-Ньютона) и Levenberg-Marquardt (Левенберга-Маркварта).
Нашел книгу с неплохим описанием этих методов, на которую многие ссылаются:
Дэннис Д., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. ? М.: Мир, 1988. ? 440 с. (есть в инете).
Также ссылаются на:
Бард Й. Нелинейное оценивание параметров. ? М.: Статистика, 1979. ? 349 с.
Демиденко Е.З. Линейная и нелинейная регрессии. ? М.: Финансы и статистика, 1981. ? 302 с.
Эти книги в инете не нашел.

Методы по своим характеристикам близки, однако Levenberg-Marquardt отдается предпочтение. Оба метода являются локально сходящимися. В связи с этим возникает вопрос выбора стартовых значений. Существуют ли какие-либо подходы определения локальной области?

[Игорь]

Доступна новая версия 12.0.1 программы AtteStat с полноценным регрессионным анализом (а не "элементами", как было раньше).

Графики пользовательских функций можно легко строить в Excel. Т.к. графики в Excel - это отображение ячеек рабочего листа, то можно поступить следующим образом.
1. Ввести аргументы - столбец X. Пусть первая ячейка - A1.
2. Ввести в первую ячейку (пусть B1) столбца Y формулу - функцию от X, аргументом указав первую ячейку столбца Y. Например, нужно построить функцию Exp(x). Вводим: =EXP(A1)
3. Ткнуть мышкой в правый нижний угол первой ячейки столбца Y (при этом курсов примет вид +) и протащить по всему столбцу Y. Столбец заполнится формулами. При этом все ссылки на ячейки столбца X автоматически установятся.
4. Стандартно вывести график.

Собственно, так и делает AtteStat, но методами VBA и на основе рассчитанной регрессии.

По поводу доверительных интервалов при нелинейной регрессии. Более-менее понятно написано у Афифи А. Статистический анализ. Подход с использованием ЭВМ., 1982. на с. 210, и есть пример. Для определения доверительного интервала для среднего (предсказанного) значения Y при выборочных фиксированных значениях X(i) используется стандартное отклонение для предсказанных значений - sd(Yi). Не ясно, как его определять. Неужели по выборочным повторным наблюдениям для каждого X(i)? Кто как думает?

Боюсь, у Афифи неточность (небрежность перевода + небрежность автора, знакомая по другим разделам, отмеченным на данном форуме). В этой формуле SD должно быть не Yi-го, а SD оценки - это корень квадратный из дисперсии ошибки регрессии.
Хотя, в принципе, для каждого наблюдения можно построить свою дисперсию. Например, методом скользящего среднего. Данный подход как раз используется для построения ДИ в модуле "Анализ временных рядов" AtteStat. Но данный подход не предполагает формулировку параметрической модели. Тут же как раз параметрический случай.

В каких еще источниках об этом толково можно почитать?

Если интересует нечто глобальное и не является препятствием иностранный язык: Seber G.A.F., Wild C.J. Nonlinear regression. - Hoboken, NJ: John Wiley & Sons, 2003. Можно в электронном виде поискать.

Сначала хотел предложить посмотреть книги по эконометрике, т.к. регрессионный анализ традиционно широко применяется в этой науке. Однако анализ большинства иностранных источников показал, что для нас никакой ценности не представляет многосотстраничное всестороннее "обсасывание" простой линейной модели. Хороши разве что книги Айвазяна с соавт.

В Справке AtteStat "Аппроксимация и регрессионный анализ" я поместил все необходимые формулы, а также ссылку на книгу Кулаичева "Методы и средства анализа данных в среде Windows. STADIA", где эти формулы имеются. В электронном виде книга не встречалась. Посмотрите в [электронных] книжных магазинах. Стоит 64 рубля. Бесплатная версия STADIA доступна http://protein.bio.msu.su/~akula/Podr2~1.htm.

Сообщение отредактировал Игорь - 31.01.2010 - 16:03