К чему такие ограничения? Z может также возвести правую часть уравнения, скажем, в степень в виде самой себя. Или взять логарифм, используя себя в качестве основания.

Думаю, это отвлеченные рассуждения. Записывайте модель и идентифицируйте ее на основе экспериментальных данных. Получайте статистические оценки коэффициентов. Получайте ДИ, прогноз и все, что вам еще нужно. Собственно, и все.

Но тогда модель перестанет быть прямой. А если мы знаем, что процесс ведет себя прямолинейно (теоретически, например), то мы должны сохранить эту форму модели, включив однако все возможные влияния другой переменной. Аналогично с другими формами моделей.

В книге Ферстер, Ренц Методы корреляционного и регрессионного анализа, с. 155-158. приводится формула для расчета коэфициента детерминации в случае нелинейной регрессии. Считаю по формуле, но не сходится с расчетом в Statistica 6 (если я правильно понял, то Proportion of variance accounted for - доля учтенной (объясненной?) дисперсии - это и есть коэффициент детерминации). В чем может быть причина? Встречал ли кто-нибудь в других книгах формулы коэффициента детерминации и стандартной ошибки регрессии для нелинейной регрессии. Или они такие же как для линейной?

А разве формула расчета коэффициента детерминации зависит от вида регрессии?

Да, см. например тут http://en.wikipedia.org/wiki/Coefficient_of_determination

Вы имеете ввиду, что разница есть, если оцениваем нелинейную регрессию maximum likelihood методом? А если наименьшие квадраты ведь формулы для линейной и нелинейной одинаковые?

А мне показалось, что статья по указанной ссылке как раз и показывает, что формула расчета коэффициента детерминации одна для любой регресси. Если, конечно, не подставлять в нее выражение для модели.

И мне так показалось.

Вне зависимости от модели всегда можно оценить полную дисперсию (SST), долю дисперсии приходящуюся на остатки (SSE), и долю дисперсии относительно регрессионной модели (SSR=SST-SSE). Отношение SSR/SST - объясненная доля дисперсии в регрессионной модели. Эта доля эквивалентна R-квадрат. Даже если распределение зависимой переменной не является нормальным, это отношение помогает оценить насколько хорошо подобранная модель согласуется с исходными данными.

В программе Statistica для линейной, экспоненциальной и заданной пользователем моделей выводится R-квадрат, а для моделей логит и пробит модуль нелинейное оценивание использует оценивание по методу максимума правдоподобия. При этом непосредственно сравнивается правдоподобие нулевой модели (все параметры равны нулю) с правдоподобием подогнанной модели и вычисляется хи-кв.

Statistica 6 в модуле Nonlinear Estimation в разделе User-specified regression, least squares выдает некую Proportion of variance accounted for, а R^2 нет. Этот параметр близок к R^2, рассчитанному по формуле, но отличается. И причина вроде не в округлениях...

Судя по формуле для стандартной ошибки регрессии, она тоже расчитывается одинаково для линейной и нелинейной регрессии. У кого на сей счет какое мнение?

Стандартная ошибка регрессии (регрессионной модели) считается одинаково для любых моделей.

Если говорить об оценках параметров регрессии (модели), то нет, неодинаково. Стандартная ошибка вычисляется через стандартное отклонение. В формулу стандартного отклонения входит матрица частных производных модели по параметрам. Разные модели - разные производные. В формулу стандартного отклонения входит также дисперсия ошибки регрессии. Она считается по той же самой формуле для всех моделей (если опять же, как в обсуждении выше, не подставлять в формулу саму модель, а использовать числовые значения ее оценок).

Это и есть коэффициент детерминации. И если параметры модели в ручном и машинном расчете совпадают, то и R^2 должно совпасть.

Нелинейное оценивание - это итерационные процедуры, в ручную посчитать коэффициенты не получится.
Думал, что может это скорректированный коэффициент детерминации - тоже не сходится.
DrgLena, если есть у Вас время, посчитайте, какой R-квадрат выдает Statistica (девятка) методом Маркуардта вот по этим, например, данным.
Уравнение Y=exp(b0-(b1/X)).

Спасибо, Игорь!
Ее то в любом случае в Excel считать придется. Statistica при нелинейном оценивании не выдает. Но не проблема.

И как у Вас получится сумма квадратов (SST) при оценке методом максимального правдоподобия? (итерационном, на нелинейной модели). Если нет аналитического решения (OLS), то и все оценки приблизительные, разные методы дают разные результаты.

В данном примере коэффициенты МНК совпадают с полученными квази-ньютоновским (могу привести, но таблицы не удобно приводить), а значит совпадет и сумма квадратов отклонения от регрессии. Если выставить Loss: (OBS-PRED)**2 , то сразу ее и получите 658,6613. Другие методы оценки (1,5,7 в списке выбора) сочетают квази-ньютоновский с другими и дают для этого примера те же коэффициенты, в основе методов ? приближенное вычисление второй производной функции потерь), другие методы дадут незначительные различия, но в третьем знаке после запятой, что приведет к некоторому повышению выбранной функции потерь в четвертом знаке после запятой. Поэтому квази-ньютон более предпочтителен для данной модели.

Коэффициент детерминации по программе Statistica 85,84% (в том числе и по Маркуардту), ручной расчет основан на предыдущем моем сообщении с которым плав, очевидно не согласен:
R^2=1-658,6613/4651,915=0,858411

Ничто не мешает посчитать SST (4651,915), для этого вообще модель не нужна, а только среднее значение Y. И посчитанная сумма квадратов отклонений от своего собственного среднего естественно совпадает с SST, которая выдается при создании линейной модели.

У Афифи (стр. 210)сказано, что мерой качества подгонки нелинейных моделей является сумма квадратов отклонений от регрессии S (что и выводит программа), а величину s^2=S/n-m иногда называют среднеквадратической ошибкой.
s^2=658,6613/58
Я думаю, что ничего больше и не нужно считать. Но картинку можно нарисовать, и еще показать, что коэффициент детерминации линейной модели ниже.

Могу ошибаться, поскольку чувствую, что нахожусь под влиянием линейных моделей и программы Statistica.

Интересно, а каков коэффициент детерминации для этого примера в других программах?

Такой же. Прилагаю результаты, полученные для данных и уравнения Pinus методом "Пользовательская функция" модуля "Аппроксимация зависимостей и регрессионный анализ" программы AtteStat. Теория и подробный пример использования метода имеются в Справочной системе модуля. В примере не показано - начальные значения коэффициентов модели взяты нулевыми.

Если минимизируемый функционал тот же самый (в данном случае МНК), то любой метод оптимизации (если он сойдется) даст аналогичный результат.

Нужно сохранить AtteStat для широкой виндовской общественности , многие будут скучать, если винд уже куплен.
Картинки прилагаются для pinus, но есть уже и 10 версия, может ошибку выдадут, Attestat в примере справки ее выдает, а для обсуждаемого примера нет?

Авторы книги (Ферстер, Ренц) приводят две формулы для R-квадрат: формула (3.6) на с. 102 и формула (3.11) на с. 104 (см. вырезку из книги). Если в формулу (3.11) подставить выражение (3.10), то получится формула, которую привела DrgLena: R^2=1-(SSE/SST). Эти же формулы авторы приводят для нелинейных регрессий (и корреляций) на с. 155-156.
Так вот, если считать R-квадрат для предложенного примера при линейной форме модели Y=b0+b1*X по формуле (3.6) и по формуле (3.11)+(3.10), то результаты совпадают:
(3.6) R^2=3928,13765/4651,915254=0,844413
(3.11)+(3.10) R^2=1-(723,77645/4651,915254)=0,844413
(то же и в Statistica 6).
Если же считать (на том же листе с формулами в Excel) для нелинейной модели Y=exp(b0-(b1/X)), то
(3.6) R^2=3938,325052/4651,915254=0,846603
(3.11)+(3.10) R^2=1-(658,66134/4651,915254)=0,858411.
Statistica 6 здесь выдает 0,858411.
С формулой (3.6) для нелинейных моделей что ли какая-то заковыка? Только в чем она, никак не пойму.

В том, что 3938,337+658,66=4596,997 , а не равно 4651,915
Читаем плава или плаваем дальше?

А Вы не спешите с выводами. Посчитайте в Excel в выражении SST=SSR+SSE каждое слагаемое отдельно (через наблюдаемые и предсказанные значения Y) и увидите, что для рассматриваемой и подобных ей моделей SSR=CУММ[Y(pred)-Y(mean)]^2 не равно SSR=SST-SSE. Почему, я не знаю.

Исправлена неточность в AtteStat - неверно брались t-статистики для коэффициентов (сейчас совпадает с примером из другой программы). Также добавлен вывод некоторых параметров расчета.

pinus, Вы просили меня посчитать в статистике коэфициент детерминации, я посчитала и выложила результат и очень обрадовалась, что и Attestat дал тот же коэффициент и благодаря этому AtteStat скорректировал неточности. А в ответ - я резкая дама. При этом потратила день для того чтобы сумма долей дисперсии дали SST. Я считала их не в экселе, а в статистике, которая сохраняет предсказанные значения и остатки в виде переменных в том же файле, и получила те же доли,которые вы привели, значит две программы суммируют с складывают верно. Какой же вывод?

SSR не совпадает. У Вас она 3993,2537 (SST минус SSE), а если считать как сумму квадратов отклонений предсказанных значений от среднего (как следует из определения SSR), то будет 3938,3251. Вот и выходит, что значение R-квадрат будет отличаться.
DrgLena, я Вам очень благодарен за помощь, но все ж таки для нелинейных моделей есть какая-то проблема с SSR, что я и предлагаю выяснить (если конечно Вам и другим участникам дискуссии это интересно).

Еще раз посмотрел ссылку, которую привел Плав.
Следует, что не во всех случаях SST=SSR+SSE (для меня это новость). Значит выходит, что не всегда R^2=1-(SSE/SST)=SSR/SST. Вот в чем причина. Поэтому формула (3.6) у Ферстера, Ренца для нелинейных регрессий и не работает (хотя они ее предлагают).
Так что выходит, что Плав был прав.

Так и я вам именно это пытаюсь объяснить, поскольку, 3938,337 - это моя расчетная по регрессии SSR.

Но ведь Вы писали:

Если Ваши расчетные доли: SSR=3938,337; SSE=658,6613; SST=4651,915, то отношение SSR/SST не эквивалентно R-квадрат.

Предлагаю подвести итог:
R^2=1-(SSE/SST) для всех форм моделей.
R^2=1-(SSE/SST)=SSR/SST справедливо только для линейных моделей.

DrgLena, Вы меня извините, я может быть не совсем удачно отреагировал... На самом деле я к Вам отношусь очень уважительно.

Да, мне так показалось, и я привела строчки из документации на русском языке к модулю нелинейное оценивание программы Statistica 6, которые давали основание к такому предположению. Эквивалентны ? equal, действительно ? равны. Я писала, что могу ошибаться и даже почему.
Но мы посчитали и убедились, что это не точно для нелинейных моделей.

Имея ваши данные, я проверила свою идею линейном зависимости длины хвостов у мышей от возраста. По вашим данным получается, что до возраста 20 лет они растут по одной линейной моделе, а после по другой. Линейная регрессия с разрывом. Коэффициент детерминации:

Model is: Piecewise linear regression with breakpoint (Spreadsheet1)
Dependent variable: y Loss: Least squares
Final loss:455,17157017 R= ,94982 Variance explained: 90,215%

получается из SSE=455,17 при том же SST=4651,915

Преобразовать нелинейные уравнения системы к виду f 1x = y и f 2 y= x. Построить их графики и определить начальное приближение решения. Решить систему нелин-ых уравнений с помощью функции Minerr.

sinx-1=1,3 - y
x-siny1=0,8


В маткаде преобразовывала так - символика,переменная,решить.
Получилось


1,3 - sinx-1

siny10,8

построила графики fx fy


решила через Минерр получилось1,8 и 0,583


Помогите найти начальное приближение решения я так понимаю что нужно совместить графики,но я не умею...

Ответ DrgLena 4.12.2010-18:58

"У Афифи (стр. 210)сказано, что мерой качества подгонки нелинейных моделей является сумма квадратов отклонений от регрессии S (что и выводит программа), а величину s^2=S/n-m иногда называют среднеквадратической ошибкой.
s^2=658,6613/58 ..."


DrgLena, Вы, наверное, допустили описку. Делить нужно на 57 = 59-2, см. Analysis of Variance (Статистика 6).

Возвращаясь к разговору о значимости различий между нелинейными регрессиями.

Плав, взгляните, здесь http://www.ats.ucla.edu/stat/sas/library/SASNLin_os.htm в разделе 4.2. Comparing treatments приводится формула для расчета F(obs) для омнибусного теста (sum of square reduction test), где в знаменателе MSE(Full) - средний квадрат ошибки для полной модели (для регрессии по объединенной совокупности всех выборок). В расчетах же, судя по приведенным таблицам ANOVA, они подставляют MSE(Reduced) - средний квадрат ошибки для отдельных регрессий.
Неужели и на крутых ресурсах (пишут про SAS) бывают такие ошибки или это я где-то ошибаюсь?

За прошедшее время нашёл другой способ сравнений регрессий любой сложности для разных наборов данных, но также с помощью F-критерия. Описано в этом руководстве на стр. 163-165: http://www.hearne.co.nz/attachments/RegressionBook.pdf

PS Постоянный глюк на форуме с ошибкой авторизации при попытках ответить отбивает всякое желание оставлять здесь комментарии. Сообщение получается оставить попытки с 15-30-ой!

Nokh, спасибо за ссылку!


Странно, у меня вообще без проблем.

Я думала это проблемы моего Internet Expl. захожу с Mozilla, все нормально.

Преобразовать нелинейные уравнения системы к виду f 1x = y и f 2 y= x. Построить их графики и определить начальное приближение решения. Решить систему нелин-ых уравнений с помощью функции Minerr.

sinx-1=1,3 - y
x-siny1=0,8


В маткаде преобразовывала так - символика,переменная,решить.
Получилось


1,3 - sinx-1

siny10,8

построила графики fx fy


решила через Минерр получилось1,8 и 0,583


Помогите найти начальное приближение решения я так понимаю что нужно совместить графики,но я не умею...
P.S. Всех с наступающим НОВЫМ ГОДОМ!!! Успехов вам в работе и в личной жизни.

Цитата(Ivdioni @ 11.12.2010 - 23:30)

Преобразовать нелинейные уравнения системы к виду f 1x = y и f 2 y= x. Построить их графики и определить начальное приближение решения. Решить систему нелин-ых уравнений с помощью функции Minerr.
sinx-1=1,3 - y
x-siny1=0,8
В маткаде преобразовывала так - символика,переменная,решить.
Получилось
1,3 - sinx-1
siny10,8
построила графики fx fy
решила через Минерр получилось1,8 и 0,583
Помогите найти начальное приближение решения я так понимаю что нужно совместить графики,но я не умею...
P.S. Всех с наступающим НОВЫМ ГОДОМ!!! Успехов вам в работе и в личной жизни.

Трудно что либо ответить: 1. Вы небрежно записали формулы. У Вас sinx-1=1,3 - y или sin(x-1)=1,3 - y ? А что такое y1-во втором уравнении siny1=0,8? Запись "получилось 1,3 - sinx-1 siny10,8 " вообще непонятна. 2. С вопросами по Маткаду, скорей всего, нужно обращаться на другой форум.
Остается пожелать Вам решить Ваши вопросы до Нового года и встретить его без груза нерешенных проблем.

Да, это важное замечание, m не число предикторов, а число параметров.

Удивительно, но оказалось, что прозрачный способ сравнения регрессий через разложение суммы квадратов отклонений от регрессий в ходе дисперсионного анализа (см. пост плава #36 на стр. 3 данной темы) приводит к тем же результатам, что и "мутный" способ "Extra sum-of-squares F-test", описанный в цитированной выше книге. Правда авторы на стр. 136 писали, что последний годится только для иерархических моделей, но тут видимо какая-то терминологическая путаница, т.к. потом они применяют этот метод во всех возможных проверках.

В приложении - таблица Excel с расчётом примера из книги на стр. 163-165 двумя способами.

PS Почитал ещё, оказывается это один способ - Extra sum-of-squares F-test, просто авторы по другому преподносят F-критерий. Можно показать, что
SS_между/df_между : SS_внутри/df_внутри = SS_между/SS_внутри : df_между/df_внутри т.е.
MS_между/MS_внутри = Прирост в SS/Прирост в df
Обычно F-критерий подаётся как отношение двух дисперсий (MS), а такой интерпретации не встречал

Здравствуйте уважаемые коллеги! У меня созрел вполне конкретный вопрос методического характера. Проводили исследование по определению наиболее благоприятных мест размещения мелких млекопитающих (переносчиков лептоспирозов и ГЛПС). Целью было выяснить какие факторы в наибольшей степени обуславливают их размещение. Есть предположение, что зависимость носит нелинейный характер и сильно зависит от комбинаторного взаимодействия факторов, поскольку модель множественной линейной регрессии плохо объясняет зависимость (всего на 12%) при этом объем выборки приличный. Вопрос: Какой модуль программы Statistica (у меня версия 8, англ.) лучше всего подходит для решения этой задачи? и как в нем работать, чтобы получить модель вида:

Y = b0 + b1P + b2P2 + b3Q + b4Q2 + b5R + b6R2 + b7P*Q + b8P*R + b9Q*R; где в моем случае известны значения факторов P, Q и R.

У вас, кстати, модель линейна по параметрам. Ее безо всяких мук можно оценить в Экселе. Только вполне возможно, что матрица регресоров будет мультиколлинеарной и метод оценивания не сойдется.

Весёлый Rodgers, будучи настоящим пиратом, не имеет возможности консультироваться у продавцов Statistica. Но перед ним лежат огромные просторы сети в которых литературы по данному пакету столько, что удивительно, как он доплыл до форума не сев на мель с ответом на свой вопрос . Statistics - Advanced Linear/Nonlinear Models - Nonlinear Estimation.

Мой вариант обработки Ваших данных: