Интерпретация данных логистической регрессии Опции

[marchanka]

Так "наощупь" делать совсем плохо

Вам надо отправить во вкладку результат логистической регрессии _до_применения_ cut value (которое в спсс считают равным "по умолчанию" 0.5 ).

спасибо за терпение к моей безграмотности.
Я уже поняла свою ошибку и исправила по расчету ДИ и кривым.

[marchanka]

Благодаря замечаниям и советам форумчан медленно, но верно продвигаюсь.
Внесу коррективы в поставленный вопрос:
Спасибо всем за терпение к моим ошибкам.

Обнаружила в учебнике Орловой И.В. и др. Многомерный статистический анализ в экономических задачах: компьютерное моделирование в SPSS .2009.
указание на то, что R2 - редко используется для анализа моделей, поэтому автор не останавливается на подробном описании его возможных вариаций.
так ли это? если у кого-то есть ссылка на какой-либо источник по этому поводу буду признательна.

[attachment=1381:характер..._кривыми.doc] в прикрепленном файле характеристики трех моделей и ROC-кривые (уже исправленные).
Можно ли с учетом представленных данных в файле сделать заключение и каким оно будет?



Сообщение отредактировал marchanka - 27.08.2016 - 17:06

[p2004r]

Благодаря замечаниям и советам форумчан медленно, но верно продвигаюсь.
Внесу коррективы в поставленный вопрос:
Спасибо всем за терпение к моим ошибкам.

Обнаружила в учебнике Орловой И.В. и др. Многомерный статистический анализ в экономических задачах: компьютерное моделирование в SPSS .2009.
указание на то, что R2 - редко используется для анализа моделей, поэтому автор не останавливается на подробном описании его возможных вариаций.
так ли это? если у кого-то есть ссылка на какой-либо источник по этому поводу буду признательна.

[attachment=1381:характер..._кривыми.doc] в прикрепленном файле характеристики трех моделей и ROC-кривые (уже исправленные).
Можно ли с учетом представленных данных в файле сделать заключение и каким оно будет?

прикреплю ссылку на автореферат, где представлены данные лог.регрессии.
мне его выдали для ориентировки.
Корректны ли здесь представления моделей и их интерпретация?

0. Никогда не провоцируйте обсуждение на форумах не своих результатов без явного согласия их авторов.

1. Вы не внимательно читаете что Вам советуют (в данном случае я ).

И R^2 и тем более ROC прекрасные критерии оценки _качества_ модели, которая _интерполирует_ данные эксперимента-наблюдения. Но все эти критерии (и даже попытки в них вносить поправки), и даже Информационные критерии откровенно слабо позволяют оценить _экстраполяционные_ возможности модели (то есть возможность _точно_ предсказывать для не участвовавших в обучении случаев).

Если модель не состоятельна в смысле экстраполяции это называют "переобучение"-"оверфитинг-переподгонка". В этом случае трактовать смысл коэффициентов модели любого вида становиться так же продуктивно, как трактовать смысл коэффициентов полинома наилучшим образом описывающего анализируемый набор данных.

По этому еще раз --- кроссвалидация позволяет получить модель любого вида без переобучения имеющее оптимальное качество по любому выбранному параметру (Хоть AUC, хоть R^2, хоть ....). Достигнутое качество (фактически его распределение) модели для данной структуры модели и является значимым.

Естественно есть масса процедур построенных "вокруг кроссвалидации", которые "ищут" эту самую оптимальную структуру модели + значимость предикторов для данной независимой величины.

Сообщение отредактировал p2004r - 27.08.2016 - 18:02

[marchanka]

0. Никогда не провоцируйте обсуждение на форумах не своих результатов без явного согласия их авторов.

1. Вы не внимательно читаете что Вам советуют (в данном случае я ).

И R^2 и тем более ROC прекрасные критерии оценки _качества_ модели, которая _интерполирует_ данные эксперимента-наблюдения. Но все эти критерии (и даже попытки в них вносить поправки), и даже Информационные критерии откровенно слабо позволяют оценить _экстраполяционные_ возможности модели (то есть возможность _точно_ предсказывать для не участвовавших в обучении случаев).

Если модель не состоятельна в смысле экстраполяции это называют "переобучение"-"оверфитинг-переподгонка". В этом случае трактовать смысл коэффициентов модели любого вида становиться так же продуктивно, как трактовать смысл коэффициентов полинома наилучшим образом описывающего анализируемый набор данных.

По этому еще раз --- кроссвалидация позволяет получить модель любого вида без переобучения имеющее оптимальное качество по любому выбранному параметру (Хоть AUC, хоть R^2, хоть ....). Достигнутое качество (фактически его распределение) модели для данной структуры модели и является значимым.

Естественно есть масса процедур построенных "вокруг кроссвалидации", которые "ищут" эту самую оптимальную структуру модели + значимость предикторов для данной независимой величины.

Спасибо за замечание - удалила ссылку.
Возможно, я не всегда могу точно выразить свои мысли и, к сожалению, не всегда могу до конца осмыслить ваши советы.
Я понимаю, что характеристики модели и ее прогностические показатели - это разные аспекты.
и в данном случае я не претендую на выявление собственно прогностического потенциала.
я пытаюсь разобраться, можно ли говорить о достоверности моделей для изученной выборки.

[p2004r]

Спасибо за замечание - удалила ссылку.
Возможно, я не всегда могу точно выразить свои мысли и, к сожалению, не всегда могу до конца осмыслить ваши советы.
Я понимаю, что характеристики модели и ее прогностические показатели - это разные аспекты.
и в данном случае я не претендую на выявление собственно прогностического потенциала.
я пытаюсь разобраться, можно ли говорить о достоверности моделей для изученной выборки.

Прогностический потенциал неотделим от возможности интерпретации "вкладов в модель" предикторов. Переобученная модель может идеально пройти через все точки на которых обучалась, но не отражать _ничего_ (просто ввиду очень большой размерности пространства в котором построена модель).

Что бы Вам было легче понять, представим более простое условие к оценкам качества моделей. Для этого примем, что мы не "экономим" на количестве доступных данных -- тогда все оценки AUC, R^2 и других метрик качества модели надо вести не на выборке использованной "для обучения модели", а на специально (иногда рандомизированно, иногда имитирующей "генсовокупность" для которой готовиться наша модель) сформированной "тестовой выборке". Данные из "тестовой выборки" не должны никаким образом использоваться при "обучении модели".

Собственно кроссвалидация этот подход просто обобщает -- учим на одной выборке, качество оцениваем на второй выборке.

[marchanka]

Прогностический потенциал неотделим от возможности интерпретации "вкладов в модель" предикторов. Переобученная модель может идеально пройти через все точки на которых обучалась, но не отражать _ничего_ (просто ввиду очень большой размерности пространства в котором построена модель).

Что бы Вам было легче понять, представим более простое условие к оценкам качества моделей. Для этого примем, что мы не "экономим" на количестве доступных данных -- тогда все оценки AUC, R^2 и других метрик качества модели надо вести не на выборке использованной "для обучения модели", а на специально (иногда рандомизированно, иногда имитирующей "генсовокупность" для которой готовиться наша модель) сформированной "тестовой выборке". Данные из "тестовой выборки" не должны никаким образом использоваться при "обучении модели".

Собственно кроссвалидация этот подход просто обобщает -- учим на одной выборке, качество оцениваем на второй выборке.

Да, я уже почитала про кроссвалидацию.
Спасибо за дельные советы и подсказки!

[DrgLena]

Marchanka, вы спрашиваете, какое заключение можно сделать по представленным в вашем файле данным, которые вы назвали Характеристики моделей с кривыми. Но до характеристик моделей еще нужно получить результат логистичсекой регрессии, о чем вас просил p2004r.
Прежде всего в логистической регрессии оценивается вклад переменных в прогнорзируемое состояние. При этом, учитывается тип предикторов, количественные ранговые или бинарные. Трактовка этих коэффициентов зависит от типа предикторов.

В случае одинокого бинарного предиктора, как в вашей первой модели нет смысла вообще использовать логистическую регрессию. Два бинарных признака и табл 2х2 дает возможность посчитать OR, а соответствующие калькуляторы дадут и расчет 95% ДИ. При этом ,вы уже имеете ответ на вопрос у м или ж и во сколько раз выше шансы иметь прогнозируемое состояние дин СОЦР нег.
И OR точно совпадет с exp коэффициена регрессии в уравнении логистической регрессии.
И ROC кривая по одной точке тоже не имеет никакого смысла, поскольку чувствительность и специфичность также однозначно считается из той же таблице 2х2. И никакого receiver по одной точке не может быть. Это по первой Модели (в кавычках). И еще замечание , пол часто включают в модель мультивариантной бинарной логистической регрессии, чтобы скорректировать коэффициенты предикторов. Оценки факторов риска (exp(b)) будут называться adjusted for sex

Две последующие модели прогнозируют одну и ту же переменную. Возникает вопрос, почему два предиктора одной и той же прогнозируемой переменной находяться в разнных моделях и почему вы хотите сравнивамь модели , а не возможности предикторов, сравнивая OR. Не факт, что оба предикторы будут иметь статистически значимые коэффициенты регрессии, находясь в одной модели.

[leo_biostat]

Так "наощупь" делать совсем плохо

Вам надо отправить во вкладку результат логистической регрессии _до_применения_ cut value (которое в спсс считают равным "по умолчанию" 0.5 ).

Абсолютно правильная рекомендация! Без подробных деталей практически невозможно дать полезный ответ и рекомендации. При описании подобных сложных вопросов следует привести реальные фрагменты результатов полученных в используемом стат. пакете.
Подобные примеры таких фрагментов можете увидеть в моих статьях по логистической регрессии по адресам http://www.biometrica.tomsk.ru/logit_1.htm --- http://www.biometrica.tomsk.ru/logit_9.htm
При этом весьма важно кроме общих результатов типа само уравнение, проценты, ROC-кривые, и т.п. привести и конкретные результаты по каждому отдельному наблюдению сравниваемых групп. В этих таблицах со всеми наблюдениями можно оценить, какие конкретно наблюдения на переклассифицированы в свои собственные группы. И оценить почему это так.

Итак, по сложным вопросам надо приводить большие объёмы полученной информации. Иначе вместо детальных ответов и рекомендаций можно дать лишь отписку.