Нелинейная регрессия Опции

[Pinus]

Так и я вам именно это пытаюсь объяснить...

Но ведь Вы писали:

И мне так показалось.

Вне зависимости от модели всегда можно оценить полную дисперсию (SST), долю дисперсии приходящуюся на остатки (SSE), и долю дисперсии относительно регрессионной модели (SSR=SST-SSE). Отношение SSR/SST - объясненная доля дисперсии в регрессионной модели. Эта доля эквивалентна R-квадрат.

Если Ваши расчетные доли: SSR=3938,337; SSE=658,6613; SST=4651,915, то отношение SSR/SST не эквивалентно R-квадрат.

Предлагаю подвести итог:
R^2=1-(SSE/SST) для всех форм моделей.
R^2=1-(SSE/SST)=SSR/SST справедливо только для линейных моделей.

DrgLena, Вы меня извините, я может быть не совсем удачно отреагировал... На самом деле я к Вам отношусь очень уважительно.

Сообщение отредактировал Pinus - 5.12.2010 - 19:39

[DrgLena]

Да, мне так показалось, и я привела строчки из документации на русском языке к модулю нелинейное оценивание программы Statistica 6, которые давали основание к такому предположению. Эквивалентны ? equal, действительно ? равны. Я писала, что могу ошибаться и даже почему.
Но мы посчитали и убедились, что это не точно для нелинейных моделей.

Имея ваши данные, я проверила свою идею линейном зависимости длины хвостов у мышей от возраста. По вашим данным получается, что до возраста 20 лет они растут по одной линейной моделе, а после по другой. Линейная регрессия с разрывом. Коэффициент детерминации:

Model is: Piecewise linear regression with breakpoint (Spreadsheet1)
Dependent variable: y Loss: Least squares
Final loss:455,17157017 R= ,94982 Variance explained: 90,215%

получается из SSE=455,17 при том же SST=4651,915

[skrayd]

Преобразовать нелинейные уравнения системы к виду f 1x = y и f 2 y= x. Построить их графики и определить начальное приближение решения. Решить систему нелин-ых уравнений с помощью функции Minerr.

sinx-1=1,3 - y
x-siny1=0,8


В маткаде преобразовывала так - символика,переменная,решить.
Получилось


1,3 - sinx-1

siny10,8

построила графики fx fy


решила через Минерр получилось1,8 и 0,583


Помогите найти начальное приближение решения я так понимаю что нужно совместить графики,но я не умею...

[Olga44]

Ответ DrgLena 4.12.2010-18:58

"У Афифи (стр. 210)сказано, что мерой качества подгонки нелинейных моделей является сумма квадратов отклонений от регрессии S (что и выводит программа), а величину s^2=S/n-m иногда называют среднеквадратической ошибкой.
s^2=658,6613/58 ..."


DrgLena, Вы, наверное, допустили описку. Делить нужно на 57 = 59-2, см. Analysis of Variance (Статистика 6).

Сообщение отредактировал Olga44 - 11.12.2010 - 18:23

Прикрепленные файлы

 tab1.doc ( 32,5 килобайт ) Кол-во скачиваний: 443

 

[Pinus]

Возвращаясь к разговору о значимости различий между нелинейными регрессиями.

Так вот действуем так:
1) Объединяем все наблюдения в одну группу и считает модель по Вашей формуле (общую)
2) Рассчитываем предсказанные значения и считаем квадраты разности между предсказанным значением и истинным (SSt)
3) Разбиваем данные на группы и проводим регресионный анализ внутри каждой группы
4) Для каждой группы считаем квадраты разности, затем суммируем полученные значения для всех групп (SSe)
Получили модель дисперсионного анализа и используем омнибусный тест для проверки гипотезы, что разбиение на группы не приводит к снижению дисперсии.

Плав, взгляните, здесь http://www.ats.ucla.edu/stat/sas/library/SASNLin_os.htm в разделе 4.2. Comparing treatments приводится формула для расчета F(obs) для омнибусного теста (sum of square reduction test), где в знаменателе MSE(Full) - средний квадрат ошибки для полной модели (для регрессии по объединенной совокупности всех выборок). В расчетах же, судя по приведенным таблицам ANOVA, они подставляют MSE(Reduced) - средний квадрат ошибки для отдельных регрессий.
Неужели и на крутых ресурсах (пишут про SAS) бывают такие ошибки или это я где-то ошибаюсь?

Сообщение отредактировал Pinus - 11.12.2010 - 07:38

[nokh]

Возвращаясь к разговору о значимости различий между нелинейными регрессиями.

За прошедшее время нашёл другой способ сравнений регрессий любой сложности для разных наборов данных, но также с помощью F-критерия. Описано в этом руководстве на стр. 163-165: http://www.hearne.co.nz/attachments/RegressionBook.pdf

PS Постоянный глюк на форуме с ошибкой авторизации при попытках ответить отбивает всякое желание оставлять здесь комментарии. Сообщение получается оставить попытки с 15-30-ой!

[Pinus]

За прошедшее время нашёл другой способ сравнений регрессий любой сложности для разных наборов данных, но также с помощью F-критерия. Описано в этом руководстве на стр. 163-165: http://www.hearne.co.nz/attachments/RegressionBook.pdf

Nokh, спасибо за ссылку!

PS Постоянный глюк на форуме с ошибкой авторизации при попытках ответить отбивает всякое желание оставлять здесь комментарии. Сообщение получается оставить попытки с 15-30-ой!

Странно, у меня вообще без проблем.

Сообщение отредактировал Pinus - 11.12.2010 - 10:57

[DrgLena]

Я думала это проблемы моего Internet Expl. захожу с Mozilla, все нормально.

[Ivdioni]

Преобразовать нелинейные уравнения системы к виду f 1x = y и f 2 y= x. Построить их графики и определить начальное приближение решения. Решить систему нелин-ых уравнений с помощью функции Minerr.

sinx-1=1,3 - y
x-siny1=0,8


В маткаде преобразовывала так - символика,переменная,решить.
Получилось


1,3 - sinx-1

siny10,8

построила графики fx fy


решила через Минерр получилось1,8 и 0,583


Помогите найти начальное приближение решения я так понимаю что нужно совместить графики,но я не умею...
P.S. Всех с наступающим НОВЫМ ГОДОМ!!! Успехов вам в работе и в личной жизни.

[Olga44]

Преобразовать нелинейные уравнения системы к виду f 1x = y и f 2 y= x. Построить их графики и определить начальное приближение решения. Решить систему нелин-ых уравнений с помощью функции Minerr.
sinx-1=1,3 - y
x-siny1=0,8
В маткаде преобразовывала так - символика,переменная,решить.
Получилось
1,3 - sinx-1
siny10,8
построила графики fx fy
решила через Минерр получилось1,8 и 0,583
Помогите найти начальное приближение решения я так понимаю что нужно совместить графики,но я не умею...
P.S. Всех с наступающим НОВЫМ ГОДОМ!!! Успехов вам в работе и в личной жизни.

Трудно что либо ответить: 1. Вы небрежно записали формулы. У Вас sinx-1=1,3 - y или sin(x-1)=1,3 - y ? А что такое y1-во втором уравнении siny1=0,8? Запись "получилось 1,3 - sinx-1 siny10,8 " вообще непонятна. 2. С вопросами по Маткаду, скорей всего, нужно обращаться на другой форум.
Остается пожелать Вам решить Ваши вопросы до Нового года и встретить его без груза нерешенных проблем.

Сообщение отредактировал Olga44 - 12.12.2010 - 02:54

[DrgLena]

DrgLena, Вы, наверное, допустили описку. Делить нужно на 57 = 59-2, см. Analysis of Variance (Статистика 6).

Да, это важное замечание, m не число предикторов, а число параметров.

[nokh]

За прошедшее время нашёл другой способ сравнений регрессий любой сложности для разных наборов данных, но также с помощью F-критерия. Описано в этом руководстве на стр. 163-165: http://www.hearne.co.nz/attachments/RegressionBook.pdf

Удивительно, но оказалось, что прозрачный способ сравнения регрессий через разложение суммы квадратов отклонений от регрессий в ходе дисперсионного анализа (см. пост плава #36 на стр. 3 данной темы) приводит к тем же результатам, что и "мутный" способ "Extra sum-of-squares F-test", описанный в цитированной выше книге. Правда авторы на стр. 136 писали, что последний годится только для иерархических моделей, но тут видимо какая-то терминологическая путаница, т.к. потом они применяют этот метод во всех возможных проверках.

В приложении - таблица Excel с расчётом примера из книги на стр. 163-165 двумя способами.

PS Почитал ещё, оказывается это один способ - Extra sum-of-squares F-test, просто авторы по другому преподносят F-критерий. Можно показать, что
SS_между/df_между : SS_внутри/df_внутри = SS_между/SS_внутри : df_между/df_внутри т.е.
MS_между/MS_внутри = Прирост в SS/Прирост в df
Обычно F-критерий подаётся как отношение двух дисперсий (MS), а такой интерпретации не встречал

Сообщение отредактировал nokh - 16.01.2011 - 08:23

Прикрепленные файлы

 Сравнение_двух_регрессий.rar ( 3,6 килобайт ) Кол-во скачиваний: 445

 

[Rodgers]

Здравствуйте уважаемые коллеги! У меня созрел вполне конкретный вопрос методического характера. Проводили исследование по определению наиболее благоприятных мест размещения мелких млекопитающих (переносчиков лептоспирозов и ГЛПС). Целью было выяснить какие факторы в наибольшей степени обуславливают их размещение. Есть предположение, что зависимость носит нелинейный характер и сильно зависит от комбинаторного взаимодействия факторов, поскольку модель множественной линейной регрессии плохо объясняет зависимость (всего на 12%) при этом объем выборки приличный. Вопрос: Какой модуль программы Statistica (у меня версия 8, англ.) лучше всего подходит для решения этой задачи? и как в нем работать, чтобы получить модель вида:

Y = b0 + b1P + b2P2 + b3Q + b4Q2 + b5R + b6R2 + b7P*Q + b8P*R + b9Q*R; где в моем случае известны значения факторов P, Q и R.

[100$]

Здравствуйте уважаемые коллеги! У меня созрел вполне конкретный вопрос методического характера. Проводили исследование по определению наиболее благоприятных мест размещения мелких млекопитающих (переносчиков лептоспирозов и ГЛПС). Целью было выяснить какие факторы в наибольшей степени обуславливают их размещение. Есть предположение, что зависимость носит нелинейный характер и сильно зависит от комбинаторного взаимодействия факторов, поскольку модель множественной линейной регрессии плохо объясняет зависимость (всего на 12%) при этом объем выборки приличный. Вопрос: Какой модуль программы Statistica (у меня версия 8, англ.) лучше всего подходит для решения этой задачи? и как в нем работать, чтобы получить модель вида:

Y = b0 + b1P + b2P2 + b3Q + b4Q2 + b5R + b6R2 + b7P*Q + b8P*R + b9Q*R; где в моем случае известны значения факторов P, Q и R.

У вас, кстати, модель линейна по параметрам. Ее безо всяких мук можно оценить в Экселе. Только вполне возможно, что матрица регресоров будет мультиколлинеарной и метод оценивания не сойдется.

[nokh]

Весёлый Rodgers, будучи настоящим пиратом, не имеет возможности консультироваться у продавцов Statistica. Но перед ним лежат огромные просторы сети в которых литературы по данному пакету столько, что удивительно, как он доплыл до форума не сев на мель с ответом на свой вопрос . Statistics - Advanced Linear/Nonlinear Models - Nonlinear Estimation.

Сообщение отредактировал nokh - 3.02.2013 - 00:11