Нелинейная регрессия Опции

[DrgLena]

Немного посложнее степень, в которую возводится функция, и все - оба не переваривают.

А на что жалуется Statistica при непереваривании?

Я, может, уже не в теме. Было много постов про рост деревьев, сейчас цель исследования для меня несколько потерялась.
Перейдя к нелинейному оцениванию, почему нужно использовать только МНК оценки? Потому, что они по умолчанию в этой программе? Можно уйти от производных используя альтернативу МНК, например ? MLM.
A common alternative to the least squares loss function is to maximize the likelihood or log-likelihood function (or to minimize the negative log-likelihood function; the term maximum likelihood was first used by Fisher, 1929a; see also Maximum Likelihood Method). These functions are typically used when fitting non-linear models.
Тогда в Statistica появятся 7 других методов оценки. Но для этого нужно выбрать custom loss function в нелинейных оценках. Тогда будут доступны и симплексные методы и комбинация методов.
Simplex
Simplex and Quasi-Newton
Hooke-Jeeves pattern moves
Hooke-Jeeves and quasi-Newton
Rosenbrock pattern search
И комбинация Hooke-Jeeves, and Rosenbrock
Коротко об этих методах в хелпах есть и ссылки тоже.

[Pinus]

Я, может, уже не в теме. Было много постов про рост деревьев, сейчас цель исследования для меня несколько потерялась.

Это не важно. Цели - это мои проблемы. Я стараюсь ставить задачу в общем, теоретически, чтобы информация была полезна и другим участникам форума (а не только исследователям деревьев). Поэтому вместо деревьев - символы X, Y, Z и т.п. Всячески стараюсь деревья вуалировать, потому что понимаю, что я здесь не совсем на своем месте. А Вы, вот, DrgLena, нет-нет да и напоминаете всем про деревья..., и все мои старания скрыть те деревья разом перечеркиваете. А что деревья? Деревья как деревья. Они ведь как люди... И растут они подобно всем живым организмам. Со своими особенностями конечно, но это уже частные вопросы.
Поэтому, DrgLena, пожалуйста, давайте больше не будем про деревья, а то у меня на этой почве сформируется какой-нибудь комплекс или другая какая болезня. Придется тогда на форуме не только учиться, но и лечиться.
Да здравствует Биометрия - наука, объединяющая людей, деревья и тех, кто их изучает! (Аминь).

А на что жалуется Statistica при непереваривании?

Типичные симптомы: покраснение, зуд и неадекватные реакции. В тяжелых случаях: дегенеративные изменения, ступор и отторжение (Degenerated result, the values may not correct !!!). Антидот не известен.

Перейдя к нелинейному оцениванию, почему нужно использовать только МНК оценки? Потому, что они по умолчанию в этой программе? Можно уйти от производных используя альтернативу МНК, например - MLM.

С максимальным правдоподобием еще разобраться надо, пока только на пути к этому. Пусть пока будет МНК. Не получится, значит возьмем модели попроще.

Сообщение отредактировал Pinus - 3.08.2010 - 09:16

[плав]

С максимальным правдоподобием еще разобраться надо, пока только на пути к этому. Пусть пока будет МНК. Не получится, значит возьмем модели попроще.

Насчет деревьев вынужден не согласиться - в статистике невозможно решать задачи в общем виде. Надо знать предметную область, поэтому что справедливо для роста волос у негра может быть не справедливо для роста волос у шведа. Модель строится исходя из знаний о предмете (этой фразой, я, наверное, уже всем надоел). Не знай я, например, про условия задачи и функцию роста, уже давно бы утверждал, что в медицине любая нелинейная модель (если не фармакокинетика) - от лукавого.
Что же касается degenerated result (вырождение), скорее всего а) выраженная внутренняя корреляция между показателями (более 0,9); б) слишком много параметров; в) подгруппы с нулевой численностью д) модель 100% точно описывает данные (нет степеней свободы для ошибки).
Я бы рекомендовал начать строить модель от простой к сложной, т.е. вводить дополнительные параметры постепенно и смотреть, когда модель выродится.

[DrgLena]

Я понимаю, что шутки про лес сейчас не уместны, поэтому я про свое.
Из опыта роста хвостов у мышей (joke) могу добавить, что наилучшая модель роста была получена с помощью Кусочно - линейной регрессии с одной точкой разрыва (Statistica, тоже в модуле нелинейного оценивания). При этом фактор освещенности в возрасте до 10 дней не влиял, а после, ускорял рост хвостов. Вывод: не чего зря электричество палить в виварии в первые 10 дней, пусть растут как в утробе матери.

Сообщение отредактировал DrgLena - 3.08.2010 - 12:52

[Pinus]

Размышлял вот на досуге, и появились такие мысли:
Берем уравнение: Y=b0+b1*X. Полагаем, что кроме X на Y еще действует Z (тоже количественная). Как Z может воздействовать на Y (т.е. в данном случае на прямую)? Она может или сдвигать прямую вдоль оси OY (воздействие на b0), или изменять угол наклона прямой относительно оси OX (воздействие на b1). Другими словами, Z воздействует на параметры прямой, а значит уравнение в участием Z можно записать так:
Y=(b00+b01*Z)+(b10+b11*Z)*X.
Если раскрыть скобки, получим Y=b00+b10*X+b01*Z+b11*Z*X, т.е. известный вид модели, включающий все (аддитивные и мультипликативные эффекты).

Тогда, почему не поступать аналогично с нелинейными моделями?
Берем пресловутую Y=b0*(1-exp(-A/b1))^b2. Тогда, исходя из вышесказанного, получаем:
Y=(b00+b01*Z)*(1-exp(-A/(b10+b11*Z)))^(b20+b21*Z).
Также можно для Z задать любые функции (Z^2; lnZ и т.п.).
Аналогично, если Z - dummy. Тогда при Z=0, имеем одни параметры уравнения, при Z=1 - другие.
Что очень важно, исходная функция при таком рассмотрении остается всегда той же самой (с теми же свойствами: теоретическими, общепринятыми и т.п.). Просто при воздействии Z изменяются параметры функции, т.е. мы получаем другую ассимтоту (предельное значение Y), другой наклон (скорость роста) и т.п., что и является отражением реального процесса: при воздействии некоего фактора характеристики роста изменяются, но процесс (функция) все равно исходит из нуля, имеет определенный характер ускорений и замедлений и стабилизируется, бесконечно приближаясь к некоторому предельному значению.
Кроме того, в такой постановке мы включаем мультипликативный эффект (т.е. исследуем полную модель) и нет проблем с интерпретацией (если, конечно, параметры исходной функции имеют биологический смысл).
Сначала в дискуссии я не смог сформулировать то, что хотел получить, поэтому разговор пошел не совсем в том русле (моя исходная модель: Y = b0*(1-exp(-A/b1))^b2 + b3*Z^2, и все прочее). А вот это, похоже оно, то самое.
Что скажут знатоки?

Сообщение отредактировал Pinus - 26.09.2010 - 02:26

[Игорь]

Размышлял вот на досуге, и появились такие мысли:
Берем уравнение: Y=b0+b1*X. Полагаем, что кроме X на Y еще действует Z (тоже количественная). Как Z может воздействовать на Y (т.е. в данном случае на прямую)? Она может или сдвигать прямую вдоль оси OY (воздействие на b0), или изменять угол наклона прямой относительно оси OX (воздействие на b1).

К чему такие ограничения? Z может также возвести правую часть уравнения, скажем, в степень в виде самой себя. Или взять логарифм, используя себя в качестве основания.

Думаю, это отвлеченные рассуждения. Записывайте модель и идентифицируйте ее на основе экспериментальных данных. Получайте статистические оценки коэффициентов. Получайте ДИ, прогноз и все, что вам еще нужно. Собственно, и все.

Сообщение отредактировал Игорь - 27.09.2010 - 15:19

[Pinus]

К чему такие ограничения? Z может также возвести правую часть уравнения, скажем, в степень в виде самой себя. Или взять логарифм, используя себя в качестве основания.

Но тогда модель перестанет быть прямой. А если мы знаем, что процесс ведет себя прямолинейно (теоретически, например), то мы должны сохранить эту форму модели, включив однако все возможные влияния другой переменной. Аналогично с другими формами моделей.

Сообщение отредактировал Pinus - 27.09.2010 - 23:26

[Pinus]

В книге Ферстер, Ренц Методы корреляционного и регрессионного анализа, с. 155-158. приводится формула для расчета коэфициента детерминации в случае нелинейной регрессии. Считаю по формуле, но не сходится с расчетом в Statistica 6 (если я правильно понял, то Proportion of variance accounted for - доля учтенной (объясненной?) дисперсии - это и есть коэффициент детерминации). В чем может быть причина? Встречал ли кто-нибудь в других книгах формулы коэффициента детерминации и стандартной ошибки регрессии для нелинейной регрессии. Или они такие же как для линейной?

[Игорь]

В книге Ферстер, Ренц Методы корреляционного и регрессионного анализа, с. 155-158. приводится формула для расчета коэфициента детерминации в случае нелинейной регрессии.

А разве формула расчета коэффициента детерминации зависит от вида регрессии?

[плав]

А разве формула расчета коэффициента детерминации зависит от вида регрессии?

Да, см. например тут http://en.wikipedia.org/wiki/Coefficient_of_determination

[Pinus]

Да, см. например тут http://en.wikipedia.org/wiki/Coefficient_of_determination

Вы имеете ввиду, что разница есть, если оцениваем нелинейную регрессию maximum likelihood методом? А если наименьшие квадраты ведь формулы для линейной и нелинейной одинаковые?

Сообщение отредактировал Pinus - 3.12.2010 - 02:10

[Игорь]

Да, см. например тут http://en.wikipedia.org/wiki/Coefficient_of_determination

А мне показалось, что статья по указанной ссылке как раз и показывает, что формула расчета коэффициента детерминации одна для любой регресси. Если, конечно, не подставлять в нее выражение для модели.

[DrgLena]

И мне так показалось.

Вне зависимости от модели всегда можно оценить полную дисперсию (SST), долю дисперсии приходящуюся на остатки (SSE), и долю дисперсии относительно регрессионной модели (SSR=SST-SSE). Отношение SSR/SST - объясненная доля дисперсии в регрессионной модели. Эта доля эквивалентна R-квадрат. Даже если распределение зависимой переменной не является нормальным, это отношение помогает оценить насколько хорошо подобранная модель согласуется с исходными данными.

В программе Statistica для линейной, экспоненциальной и заданной пользователем моделей выводится R-квадрат, а для моделей логит и пробит модуль нелинейное оценивание использует оценивание по методу максимума правдоподобия. При этом непосредственно сравнивается правдоподобие нулевой модели (все параметры равны нулю) с правдоподобием подогнанной модели и вычисляется хи-кв.

[Pinus]

В программе Statistica для линейной, экспоненциальной и заданной пользователем моделей выводится R-квадрат, а для моделей логит и пробит модуль нелинейное оценивание использует оценивание по методу максимума правдоподобия. При этом непосредственно сравнивается правдоподобие нулевой модели (все параметры равны нулю) с правдоподобием подогнанной модели и вычисляется хи-кв.

Statistica 6 в модуле Nonlinear Estimation в разделе User-specified regression, least squares выдает некую Proportion of variance accounted for, а R^2 нет. Этот параметр близок к R^2, рассчитанному по формуле, но отличается. И причина вроде не в округлениях...

Судя по формуле для стандартной ошибки регрессии, она тоже расчитывается одинаково для линейной и нелинейной регрессии. У кого на сей счет какое мнение?

[Игорь]

Судя по формуле для стандартной ошибки регрессии, она тоже расчитывается одинаково для линейной и нелинейной регрессии. У кого на сей счет какое мнение?

Стандартная ошибка регрессии (регрессионной модели) считается одинаково для любых моделей.

Если говорить об оценках параметров регрессии (модели), то нет, неодинаково. Стандартная ошибка вычисляется через стандартное отклонение. В формулу стандартного отклонения входит матрица частных производных модели по параметрам. Разные модели - разные производные. В формулу стандартного отклонения входит также дисперсия ошибки регрессии. Она считается по той же самой формуле для всех моделей (если опять же, как в обсуждении выше, не подставлять в формулу саму модель, а использовать числовые значения ее оценок).

Сообщение отредактировал Игорь - 3.12.2010 - 15:59