Мультипликативный эффект, в регрессии Опции

[Pinus]

Предлагаю обсудить эффект взаимодействия переменных в регрессии. Думается, что не так здесь все просто, прежде всего в задании функции этого эффекта. Возьмем такой пример: предполагается, что на переменную Y влияют два фактора X и Z. Предполагается квадратичная зависимость Y от X и линейная от Z. Все переменные количественные и непрерывные.
Общее уравнение запишем: Y = b0 + b1*X + b2*X^2 + b3*Z + b4*Z*X.
Возникает вопрос, почему мультипликативный эффект обязательно b4*Z*X? Почему он не может быть, например: b4*Z*X^2 или b4*Z*(X + X^2). Да и вообще, в принципе взаимное действие X и Z на Y здесь наверно может быть каким угодно, хоть b4*Z^3*[1-EXP(X^2)].
Если это так, то возникает вопрос: а как узнать какая функция у эффекта взаимодействия? Если, например для X и Z мы можем предполагать вид функции из теоретических соображений, предыдущих исследований или скажем по категоризованным графикам, то как быть с X*Z?

Сообщение отредактировал Pinus - 26.07.2010 - 16:02

[плав]

Предлагаю обсудить эффект взаимодействия переменных в регрессии. Думается, что не так здесь все просто, прежде всего в задании функции этого эффекта. Возьмем такой пример: предполагается, что на переменную Y влияют два фактора X и Z. Предполагается квадратичная зависимость Y от X и линейная от Z. Все переменные количественные и непрерывные.
Общее уравнение запишем: Y = b0 + b1*X + b2*X^2 + b3*Z + b4*Z*X.
Возникает вопрос, почему мультипликативный эффект обязательно b4*Z*X? Почему он не может быть, например: b4*Z*X^2 или b4*Z*(X + X^2). Да и вообще, в принципе взаимное действие X и Z на Y здесь наверно может быть каким угодно, хоть b4*Z^3*[1-EXP(X^2)].
Если это так, то возникает вопрос: а как узнать какая функция у эффекта взаимодействия? Если, например для X и Z мы можем предполагать вид функции из теоретических соображений, предыдущих исследований или скажем по категоризованным графикам, то как быть с X*Z?

Все не совсем так. Речь идет о взаимодействиях. Соответственно, если Вы предполагаете квадратичную зависимость Y от Z, то тем самым Вы предполагаете
а) Линейный компонент Y=b1*Х
б) Квадратичный компонент Y=b2*Х^2
Для Z только линейный компонент (b3)
Теперь мы хотим выяснить, есть ли взаимодействие, т.е. проходит ли кривая наклона одинаково при разных значениях Z
Соответственно наши гипотезы (нулевые)
1) Коэффициенты линейного компонента Х не отличаются от нуля
2) Коэффициенты линейного компонента Z не отличаются от нуля
3) Коэффициенты квадратичного компонент Х не отличаются от нуля
4) Коэффициенты линейного компонента Х не зависят от уровня Z
5) Коэффициенты квадратичного компонента Х не зависят от уровня Z
Обратите внимание - это статистические гипотезы, а не модель данных
Когда не будут выполняться гипотезы 4 и 5 - тогда, когда нет зависимости одного от другого, соответственно произведение этих величин будет равно 0 (я немного упрощаю и принимаю, что все значения - случайные величины со средним 0 и стандартным отклонением 1 - это и есть распределение случайной ошибки).
Можете попробовать сгенерировать такие случайные величины и взять не среднее произведения, а, например, среднее произведения одного на квадрат другого - результат получится смещенным). Пример в R
y<-rnorm(10000)
x<-rnorm(10000)
mean(x*y)
mean(x*y^2)
Соответственно, мы почти всегда в реальности имеем линейную модель
Y=b1+b2+b3
квадраты и прочее - это модификация с помощью которой мы приводим ошибку в нужный вид.
Соответственно, взаимодействия будут b1*b3, b2*b3, b1*b2*b3

еще раз повторюсь - надо уйти от модели данных и вспомнить о статистической модели. Простейшая модель данных (случайная величина)
Y=\mu
Статистическая модель (распределение)
Y=\mu+\epsilon
Вся теория статистического тестирования занимается поведением \epsilon, а не \mu. Напомню, \mu - это популяционные, фиксированные для всех параметры.

[Pinus]

Когда не будут выполняться гипотезы 4 и 5 - тогда, когда нет зависимости одного от другого, соответственно произведение этих величин будет равно 0 (я немного упрощаю и принимаю, что все значения - случайные величины со средним 0 и стандартным отклонением 1 - это и есть распределение случайной ошибки).
Можете попробовать сгенерировать такие случайные величины и взять не среднее произведения, а, например, среднее произведения одного на квадрат другого - результат получится смещенным). Пример в R ...
Соответственно, мы почти всегда в реальности имеем линейную модель
Y=b1+b2+b3
квадраты и прочее - это модификация с помощью которой мы приводим ошибку в нужный вид.
Соответственно, взаимодействия будут b1*b3, b2*b3, b1*b2*b3

Вы хотите сказать, что если ошибки нормальны, то эффект взаимодействия можно рассматривать, как произведение функций переменных, т.е. Y = F(X) + F(Z) + F(X)*F(Z)? И в нелинейных регрессиях можно поступать также?

Сообщение отредактировал Pinus - 27.07.2010 - 02:53

[плав]

Вы хотите сказать, что если ошибки нормальны, то эффект взаимодействия можно рассматривать, как произведение функций переменных, т.е. Y = F(X) + F(Z) + F(X)*F(Z)? И в нелинейных регрессиях можно поступать также?

Да, единственно что мне бы хотелось бы, чтобы мы меньше говорили вообще о "нелинейной регрессии". Это что-то вроде "ненормального распределения" - сразу возникает вопрос, а какое?
Вообще есть два больших класса нелинейности - криволинейные и собственно нелинейные модели.
Криволинейные модели - модели в которых производная модели по параметрам не зависит от параметров модели:
Y=b0+b1*x+b2*x^2+\epsilon:
dY/dbo=1, dY/db1=x, dY/db2=x^2
Собственно нелинейные модели - те, в которых производное модели по параметрам зависит от параметра
Y = d + (a - d)/(1 + exp{b log(x/g)}) + \epsilon:
dY/dd=1 - 1/(1 + exp{b log(x/g)})

Строго говоря, практически любую зависимость можно описать полиномиалом (с некоторыми оговорками), соответственно, любую модель можно свести к простой линейной (криволинейной). Отсюда вывод - нелинейные модели нужны только для облегчения интерпретации (что они делают не всегда хорошо). И сама модель строится на основании знания предметной области, довольно часто от производных, как писал Игорь

Кроме полиномиальных моделей наиболее популярными являются логарифмические модели:
Линейно-логарифмическая:
Y=b0+b1*ln(X)+\epsilon
Логлинейная модель
ln(Y)=b0+b1*X+\epsilon -> Y=M*exp(b*X)
Лог-лог модели
ln(Y)=b0+b1*ln(X)+\epsilon -> Y=M*X^b

Как видно, после трансформации исходных переменных эти модели оказываются линейными по параметрам (заменяем ln(X)=R и/или ln(Y)=S и имеем линеаризацию - однако распределение ошибок не обязательно будет нормальным, что потребует специфической процедуры оценки).

Однако, поскольку мы сходимся на линеаризуемой модели, взаимодействия выглядят так же, как и в обычной линейной модели A+B+A*B
Еще раз повторюсь, при создании моделей надо идти от интерпретации результатов. A*B интерпретируется как то, что угол накола для A (параметр) различен при разных уровнях B.

Соответственно, для создания модели надо
1) На основании знания предметной области предположить функцию, которая связывает зависимую и независимую переменную (это уже ограничит диапазон возможных функций). Обратите внимание - на основании знания предметной области, а не путем подбора кривой под точки на графике.
2) Попытаться линеаризовать полученную зависимость (если все делалось в соотвествии с пунктом 1, это, обычно удается)
3) Определить распределение функции ошибок
4) Построить модель
(я понимаю, что я в большей степени говорю о glm, но собственно к nlm надо переходить если путь с glm уже пройден)