Нелинейная регрессия Опции

[Pinus]

Стал разбираться с оценкой параметров функций роста.
В Statistica в модуле Nonlinear Estimation есть раздел получения МНК-оценок параметров пользовательских функций (User-specified regression, least squares). Предлагаются два итерационных метода: Gauss-Newton (Гаусса-Ньютона) и Levenberg-Marquardt (Левенберга-Маркварта).
Нашел книгу с неплохим описанием этих методов, на которую многие ссылаются:
Дэннис Д., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. ? М.: Мир, 1988. ? 440 с. (есть в инете).
Также ссылаются на:
Бард Й. Нелинейное оценивание параметров. ? М.: Статистика, 1979. ? 349 с.
Демиденко Е.З. Линейная и нелинейная регрессии. ? М.: Финансы и статистика, 1981. ? 302 с.
Эти книги в инете не нашел.

Методы по своим характеристикам близки, однако Levenberg-Marquardt отдается предпочтение. Оба метода являются локально сходящимися. В связи с этим возникает вопрос выбора стартовых значений. Существуют ли какие-либо подходы определения локальной области?

[Pinus]

Игорь, спасибо за книгу и советы!
По поводу локальной области: нашел похожие работы с коэффициентами. Задал близкие к ним, получил расчет, потом задал еще раз близкие к расчетным - изменения в коэффициентах стали только в 4-5 знаке.
В Attestate уже попробовал, но почему-то не получается (вроде бы все делаю согласно справке). Если стартовые значения параметров нулевые, то в ячейке (Функция) ПО пишет #ДЕЛ/0! (деление на ноль), а в результате расчета выдает (Неверная формула. Расчет не выполнен.). Если задать стартовые значения, то в результате расчета выдает (Ошибка вычисления модели).
Пример для функции Митчерлиха (Дракина-Вуевского): Y=b0*(1-exp(-X/b1))^b2, где Y - высота насаждений; X - возраст. Стартовые значения параметров: b0=20; b1=20; b2=1,5.
Расчетные параметры по Levenberg-Marquardt (в Statistica), при ε = 1,0*E-6: b0=22,34861; b1=35,26573; b2=1,47696.

Сообщение отредактировал Pinus - 13.01.2010 - 01:32

Прикрепленные файлы

 Пример_для_функции_Митчерлиха.rar ( 2,06 килобайт ) Кол-во скачиваний: 617

 

[Игорь]

Игорь, спасибо за книгу и советы!
По поводу локальной области: нашел похожие работы с коэффициентами. Задал близкие к ним, получил расчет, потом задал еще раз близкие к расчетным - изменения в коэффициентах стали только в 4-5 знаке.
В Attestate уже попробовал, но почему-то не получается (вроде бы все делаю согласно справке). Если стартовые значения параметров нулевые, то в ячейке (Функция) ПО пишет #ДЕЛ/0! (деление на ноль), а в результате расчета выдает (Неверная формула. Расчет не выполнен.). Если задать стартовые значения, то в результате расчета выдает (Ошибка вычисления модели).
Пример для функции Митчерлиха (Дракина-Вуевского): Y=b0*(1-exp(-X/b1))^b2, где Y - высота насаждений; X - возраст. Стартовые значения параметров: b0=20; b1=20; b2=1,5.
Расчетные параметры по Levenberg-Marquardt (в Statistica), при ε = 1,0*E-6: b0=22,34861; b1=35,26573; b2=1,47696.

Да нет, получается все. Только нужно задавать очень близкие к истинным начальные значения. BFGS использует вторые производные, а в функции - степень неизвестного параметра - очень нехорошая ситуация для численного метода. Лучше всего добавить в AtteStat один из методов, вторые производные не использующих, чтобы у пользователя был выбор. Также дать возможность выбора требуемой точности и иных параметров расчета.

[Pinus]

Да нет, получается все. Только нужно задавать очень близкие к истинным начальные значения. BFGS использует вторые производные, а в функции - степень неизвестного параметра - очень нехорошая ситуация для численного метода.

Нет, у меня не получается даже со стартовыми, имеющими точность до третьего знака. Параметры, которые получены в Statistica, дают R^2=0,88 и кривая на диаграмме рассеяния проходит там где следует.

Сообщение отредактировал Pinus - 14.01.2010 - 03:35

[Игорь]

Нет, у меня не получается даже со стартовыми

Методом Ньютона-Гаусса (AtteStat, начиная с версии 10.11.5) воспользуйтесь.

Может быть кто-нибудь сталкивался, в каких пакетах на одном графике можно получить несколько диаграмм рассеяния:
1. с МНК-аппроксимациями пользовательскими функциями?
2. с возможностью накладывать функции с параметрами, заданными пользователем?

Посмотрите http://www.alentum.com/agrapher/. Можно более раннюю версию поискать. Раньше, помнится, она была бесплатная и на русском языке (http://downloads.ru/win/5206.hts, http://iu4-x2-2007.ucoz.ru/load/11-1-0-33). Хотя могу ошибаться. Может, это разные проекты.

Сообщение отредактировал Игорь - 16.01.2010 - 18:20