Нелинейная регрессия Опции

[Pinus]

Стал разбираться с оценкой параметров функций роста.
В Statistica в модуле Nonlinear Estimation есть раздел получения МНК-оценок параметров пользовательских функций (User-specified regression, least squares). Предлагаются два итерационных метода: Gauss-Newton (Гаусса-Ньютона) и Levenberg-Marquardt (Левенберга-Маркварта).
Нашел книгу с неплохим описанием этих методов, на которую многие ссылаются:
Дэннис Д., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. ? М.: Мир, 1988. ? 440 с. (есть в инете).
Также ссылаются на:
Бард Й. Нелинейное оценивание параметров. ? М.: Статистика, 1979. ? 349 с.
Демиденко Е.З. Линейная и нелинейная регрессии. ? М.: Финансы и статистика, 1981. ? 302 с.
Эти книги в инете не нашел.

Методы по своим характеристикам близки, однако Levenberg-Marquardt отдается предпочтение. Оба метода являются локально сходящимися. В связи с этим возникает вопрос выбора стартовых значений. Существуют ли какие-либо подходы определения локальной области?

[Pinus]

Размышлял вот на досуге, и появились такие мысли:
Берем уравнение: Y=b0+b1*X. Полагаем, что кроме X на Y еще действует Z (тоже количественная). Как Z может воздействовать на Y (т.е. в данном случае на прямую)? Она может или сдвигать прямую вдоль оси OY (воздействие на b0), или изменять угол наклона прямой относительно оси OX (воздействие на b1). Другими словами, Z воздействует на параметры прямой, а значит уравнение в участием Z можно записать так:
Y=(b00+b01*Z)+(b10+b11*Z)*X.
Если раскрыть скобки, получим Y=b00+b10*X+b01*Z+b11*Z*X, т.е. известный вид модели, включающий все (аддитивные и мультипликативные эффекты).

Тогда, почему не поступать аналогично с нелинейными моделями?
Берем пресловутую Y=b0*(1-exp(-A/b1))^b2. Тогда, исходя из вышесказанного, получаем:
Y=(b00+b01*Z)*(1-exp(-A/(b10+b11*Z)))^(b20+b21*Z).
Также можно для Z задать любые функции (Z^2; lnZ и т.п.).
Аналогично, если Z - dummy. Тогда при Z=0, имеем одни параметры уравнения, при Z=1 - другие.
Что очень важно, исходная функция при таком рассмотрении остается всегда той же самой (с теми же свойствами: теоретическими, общепринятыми и т.п.). Просто при воздействии Z изменяются параметры функции, т.е. мы получаем другую ассимтоту (предельное значение Y), другой наклон (скорость роста) и т.п., что и является отражением реального процесса: при воздействии некоего фактора характеристики роста изменяются, но процесс (функция) все равно исходит из нуля, имеет определенный характер ускорений и замедлений и стабилизируется, бесконечно приближаясь к некоторому предельному значению.
Кроме того, в такой постановке мы включаем мультипликативный эффект (т.е. исследуем полную модель) и нет проблем с интерпретацией (если, конечно, параметры исходной функции имеют биологический смысл).
Сначала в дискуссии я не смог сформулировать то, что хотел получить, поэтому разговор пошел не совсем в том русле (моя исходная модель: Y = b0*(1-exp(-A/b1))^b2 + b3*Z^2, и все прочее). А вот это, похоже оно, то самое.
Что скажут знатоки?

Сообщение отредактировал Pinus - 26.09.2010 - 02:26

[Игорь]

Размышлял вот на досуге, и появились такие мысли:
Берем уравнение: Y=b0+b1*X. Полагаем, что кроме X на Y еще действует Z (тоже количественная). Как Z может воздействовать на Y (т.е. в данном случае на прямую)? Она может или сдвигать прямую вдоль оси OY (воздействие на b0), или изменять угол наклона прямой относительно оси OX (воздействие на b1).

К чему такие ограничения? Z может также возвести правую часть уравнения, скажем, в степень в виде самой себя. Или взять логарифм, используя себя в качестве основания.

Думаю, это отвлеченные рассуждения. Записывайте модель и идентифицируйте ее на основе экспериментальных данных. Получайте статистические оценки коэффициентов. Получайте ДИ, прогноз и все, что вам еще нужно. Собственно, и все.

Сообщение отредактировал Игорь - 27.09.2010 - 15:19

[Pinus]

К чему такие ограничения? Z может также возвести правую часть уравнения, скажем, в степень в виде самой себя. Или взять логарифм, используя себя в качестве основания.

Но тогда модель перестанет быть прямой. А если мы знаем, что процесс ведет себя прямолинейно (теоретически, например), то мы должны сохранить эту форму модели, включив однако все возможные влияния другой переменной. Аналогично с другими формами моделей.

Сообщение отредактировал Pinus - 27.09.2010 - 23:26