Как оценить различия в силе связи между переменными? Опции

[Alex_Z]

Есть две группы. В каждой применялся различный метод лечения. Оценивалась динамика по шкале APACHE II до лечения, на первые сутки и на пятые сутки. Нужно проанализировать зависимость суммарной динамики (разность баллов этапа "до" и этапа "5 сутки") от исходной тяжести состояния (баллы APACHE II "до")
Гипотезы, которые я хочу проверить (и предполагаемый способ проверки)
1. Суммарная динамика в подгруппах зависит от исходной тяжести состояния.
Оценить силу связи коэффициентом корреляции Спирмена.

2. Суммарная динамика в подгруппах достоверно различается в зависимости от исходной тяжести состояния. - Т.е., возможно, в первой подгруппе достигается более выраженная динамика, но до определенной тяжести состояния (исходного количества баллов). Как хочу проверить: ранжировать динамику (или исходное количество баллов??) и посмотреть различия в суммарной динамике между группами в каждом ранге.

3. Зависимость (сила связи) суммарной динамики от исходной тяжести состояния различается в подгруппах. Как можно оценить?

4. Сила связи суммарной динамики и исходной тяжести меняется с увеличением исходного количества баллов (возможно, в какой-то подгруппе возрастает, в какой-то ? уменьшается, или изменяется одинаково в обеих подгруппах). Сначала оценить графически (как на рисунке). Как выразить это цифрами?

Что посоветуете? Какими методами можно решить данные задачи?

P.S. На рисунке - линия тренда - линия линейной регрессии (1). Если выбрать квадратичную (2) регрессию или кубическую (3), то линия группы сравнения веден себя по-разному. Какую выбрать?

Сообщение отредактировал Alex_Z - 14.03.2012 - 21:13

Эскизы прикрепленных изображений

 

[YVR]

P.S. На рисунке - линия тренда - линия линейной регрессии (1). Если выбрать квадратичную (2) регрессию или кубическую (3), то линия группы сравнения веден себя по-разному. Какую выбрать?

Наиболее адекватную. Адекватность для регрессионных моделей - максимальная близость абсолютного значения коэффициента корреляции к 1

[100$]

Наиболее адекватную. Адекватность для регрессионных моделей - максимальная близость абсолютного значения коэффициента корреляции к 1

Только не корреляции, а детерминации, причем скорректированный

[YVR]

Только не корреляции, а детерминации, причем скорректированный

Вы о чем?

Детерминация в данном случае неадекватна, т.к. речь в обоих выборках идет о динамике, т.е. функции от одной переменной - времени, модель которой топикстатер пытается построить для каждой выборки. Детерминация вычисляется в случаях двух или более объясняющих переменных.

Практически, явных зависимостей вообще не видно, дисперсия остатков зашкаливает. Да и судя по данным на скринах, максимальный R^2 = 0.125, а следовательно коэффициент корреляции 0.353. Т.е. это заведомый глухарь, а не тема для исследований.

Сообщение отредактировал YVR - 20.03.2012 - 18:54

[100$]

Вы о чем?

Мы - о скорректированном коэффициенте детерминации, а вы- о квадратном корне из R^2.

Детерминация в данном случае неадекватна... Детерминация вычисляется в случаях двух или более объясняющих переменных.

Это ваш личный вклад в науку? А в чем принципиальное отличие множественной линейной регресии от парной?

[YVR]

Мы - о скорректированном коэффициенте детерминации, а вы- о квадратном корне из R^2.

Квадратный корень из R^2 (коэф. детерминации) в случае парной регрессии - коэффициент корреляции по абсолютному значению. Но коэффициент детерминации менее информативен по сравнению с коэффициентом корреляции, т.к. коэффициент корреляции всегда имеет знак, а коэффициент детерминации его не имеет. Скорректированный может иметь и отрицательное значение, но в случае его отрицательности результаты вообще не стоит принимать во внимание.

А адекватным применение скорректированного коэффициента детерминации является только лишь в случаях когда сравниваются две или более регрессионные модели, но при этом количество объясняющих переменных в моделях различно. Потому что основное предназначение скорректированного коэффициента детерминации - умалить влияние разности количества переменных, объясняющих зависимую переменную.

В случаях, когда сравниваемые регрессионные модели имеют одинаковое количество объясняющих переменных, корректировать коэффициент детерминации нет никакой необходимости - это уже эпигонство. В таком случае нескорректированный коэффициент детерминации является более информативным, в особенности когда сравниваемые модели имеют одинаковое количество объясняющих переменных, но эти самые объясняющие переменные различны. Ведь с помощью нескорректированного коэффициента детерминации мы можем адекватно оценить степень влияния объясняющих переменных.

Т.е. например берем две модели, в одной присутствует независимая переменная А, а во второй переменная А заменяется на переменную B. Вычисляем для этих самых моделей коэффициент детерминации. Если коэффициент значительно выше для модели с переменной А, значит замена А на B не является адекватной. В случае, когда модель с переменной B заметно улучшит коэффициент, замена переменных А на B является адекватной.

Это ваш личный вклад в науку?

Это не мой личный вклад в науку, а элементарные базовые принципы, согласно которым те или иные математические методы необходимо применять лишь в тех случаях, когда для этого имеются явные показания. Что такое коэффициент детерминации и в каких случаях его необходимо корректировать, подробно описано в соответствующей справочной литературе без меня, т.е. без моего вклада. Я всего лишь поясняю прописные истины, дабы другие не пытались наступить на грабли, которые Вы советуете подставить под ноги, не разобравшись в вопросе.

А в чем принципиальное отличие множественной линейной регресии от парной?

С трех раз самостоятельно не можете догадаться? Тогда подскажу: множественная от парной отличается множеством объясняющих переменных, а парная - единственной.

Сообщение отредактировал YVR - 21.03.2012 - 08:57

[100$]

Квадратный корень из R^2 (коэф. детерминации) в случае парной регрессии - коэффициент корреляции по абсолютному значению. Но коэффициент детерминации менее информативен по сравнению с коэффициентом корреляции, т.к. коэффициент корреляции всегда имеет знак, а коэффициент детерминации его не имеет. Скорректированный может иметь и отрицательное значение, но в случае его отрицательности результаты вообще не стоит принимать во внимание.


Т.е. например берем две модели, в одной присутствует независимая переменная А, а во второй переменная А заменяется на переменную B. Вычисляем для этих самых моделей коэффициент детерминации. Если коэффициент значительно выше для модели с переменной А, значит замена А на B не является адекватной. В случае, когда модель с переменной B заметно улучшит коэффициент, замена переменных А на B является адекватной.


Это не мой личный вклад в науку, а элементарные базовые принципы, согласно которым те или иные математические методы необходимо применять лишь в тех случаях, когда для этого имеются явные показания. Что такое коэффициент детерминации и в каких случаях его необходимо корректировать, подробно описано в соответствующей справочной литературе без меня, т.е. без моего вклада. Я всего лишь поясняю прописные истины, дабы другие не пытались наступить на грабли, которые Вы советуете подставить под ноги, не разобравшись в вопросе.

Квадратный корень из R^2 (коэф. детерминации) в случае парной регрессии - коэффициент корреляции по абсолютному значению. Но коэффициент детерминации менее информативен по сравнению с коэффициентом корреляции, т.к. коэффициент корреляции всегда имеет знак, а коэффициент детерминации его не имеет. Скорректированный может иметь и отрицательное значение, но в случае его отрицательности результаты вообще не стоит принимать во внимание.

Чаще всего корреляционный анализ предшествует регрессионному: сначала устанавливается факт наличия связи между двумя явлениями: определили силу связи (абс. значение и стат. значимость к-та корр.), потом - направление (знак). Затем приступают к моделированию зависимостей.
Кроме того, в регрессионном анализе коэф-т корреляции - линейный (Пирсон), применение которого по отношению к балльным шкалам - моветон.
А знак коэф-та корреляции в регресиионном анализе н-р, в случае парной линейной регресии определяется знаком коэффициента угла наклона.

И вообще в регрессионном анализе вся информация - перед глазами: к-т детерминации R^2, скорректированный R^2 adjusted, значение логарифмической функции правдоподобия, SSR, SER , F- ratio, статистика Дарбина-Уотсона, etc. Вот только сравнивать ее по степени информативности можно только после затянувшегося застолья.

В случаях, когда сравниваемые регрессионные модели имеют одинаковое количество объясняющих переменных, корректировать коэффициент детерминации нет никакой необходимости - это уже эпигонство. В таком случае нескорректированный коэффициент детерминации является более информативным, в особенности когда сравниваемые модели имеют одинаковое количество объясняющих переменных, но эти самые объясняющие переменные различны. Ведь с помощью нескорректированного коэффициента детерминации мы можем адекватно оценить степень влияния объясняющих переменных.

Давайте внесем ясность: человек в посте ?1 вывесил три регрессионные модели, отличающиеся разным количеством переменных: парную линейную, параболическую и кубическую и задал вопрос: как выбрать наилучшую? Ему было любезно отвечено. В этой связи предлагаю сократить вашу (интересную) лекцыю до единственного абзаца:

А адекватным применение скорректированного коэффициента детерминации является только лишь в случаях когда сравниваются две или более регрессионные модели, но при этом количество объясняющих переменных в моделях различно. Потому что основное предназначение скорректированного коэффициента детерминации - умалить влияние разности количества переменных, объясняющих зависимую переменную.

тем более, что после введения в обиход информационных критериев Акайке, Шварца и Хеннана-Куинна применение скорректированного критерия (R^2 adj) как-то отошло на второй план.

Т.е. например берем две модели, в одной присутствует независимая переменная А, а во второй переменная А заменяется на переменную B. Вычисляем для этих самых моделей коэффициент детерминации. Если коэффициент значительно выше для модели с переменной А, значит замена А на B не является адекватной. В случае, когда модель с переменной B заметно улучшит коэффициент, замена переменных А на B является адекватной.

Модель в обоих случаях - одна и та же (парная линейная регрессия). А то, что разные предикторы- так это называется спецификацией модели. То, что две по-разному специфицированные модели обладают разной объясняющей способностью - так я этого и не оспаривал.

С трех раз самостоятельно не можете догадаться? Тогда подскажу: множественная от парной отличается множеством объясняющих переменных, а парная - единственной.

То есть по-вашему это принципиально?

И последнее. Регрессия - это моделирование условного (по распределению регрессоров) математического ожидания зависимой величины (отклика). У топикстартера и зависимая величина (динамика) и регрессор (тяжесть исходного состояния) - величины, измеренные в порядковой шкале. Оперировать по отношению к ним категорией математического ожидания - не корректно. Следовательно, основная предпосылка регрессионного анализа на выполнена. Это-задача не для линейного регресионного анализа. На это человеку также было указано в посте ?3. В этой связи наш треп в отсутствие топикстартера не стоит выеденного яйца. Предлагаю на этом уняться.

Сообщение отредактировал 100$ - 21.03.2012 - 15:32