Подскажите, пожалуйста, как интерпретировать случаи, если бинарная логистическая регрессия дала значимые результаты:
хи квадрат значим, независимые переменные значимы, общее число корректно предсказанных случаев по модели более 70,
а правильно предсказанных более 50,% но доля объясненной дисперсии (R2 Наделькеркеса) - менее 0,500.
Модель работает? какой из показателей (% предсказанных или дисперсия более важный?)
Правильно ли я понимаю, что даже, если R2 менее 0,5, это значит, что по модели прогнозирование лучше, чем наугад.

в сообщениях ниже вопрос был отредактирован

70 - это штуки, а 50 - это проценты? На тестовой или обучающей выборке?
Если способность модели верно предсказывать целевую переменную на новых данных (по той или иной метрике - см. ссылку) вас устраивает, то модель хорошая.

Надо построить ROC и провести её анализ. Искать есть ли в зависимости эффективный трешоилд. Это если тонко.

А если интересует "абстрактная предсказательная сила" то посчитать доверительный интервал для AUC.

Простите, я в статистике полный чайник без свистка)

70 и 50 - это % корректно предсказанных выборов анализируемых случаев, по которым собственно и проводился регрессионный анализ (это по выводу в бинарной регрессии).
Я сейчас попробовала постро?ть ROC- кривую.
здесь уже появились обучающая и контрольная выборки (но я не совсем понимаю, что это за выборки).
например, процент корректно предсказанных по контрольной выборке выше, чем в обучающей. Надо ли указывать эти данные при описании результатов?
площадь кривой 0,710.

Для площади есть какие-то пороговые значения?

правильно ли я понимаю, что число правильно предсказанных выборов - характеризует как модель объяснила случаи, которые мы загружали в программу.
А R2 - прогностическую мощность модели в общем плане - если мы будем ее использовать для новых респондентов?

Спасибо за быстрые ответы!

построила ROC.
я так понимаю, что смотреть надо на AUC. если 05-0,6 - модель неудовлетворительная.
возникает два допольнительных вопроса:
1) надо ли при этом учитывать % корректно предсказанных случаев по обучающей и контрольной моделям? (но я так и не поняла, что это за модели).
2) показатель AUC используется для сравнения двух моделей? или с его помощью можно оценить и надежность модели в целом (самой по себе)?

есть одна модель с такими показателями:
обучающая модель % предсказанных 1 з.переменной 100%, 2-ой категории з.переменной 0%, А ОБЩИЙ 60%
В КОНТРольной модели: 100%, 0%, общий 70,6
а AUC. 0,758

в свою очередь в бинарной регрессии для этой модели сделующие характеристики:
χ2 = 21,895, р=0,001, – 2 LL=68,460, R2 Нэйджелкерка = 0,372
% корректно предсказанных случаев =72 , % корректно предсказанных всего=79,7

1. Где этот ROC? (сюда прекрасно атачатся картинки)

2. Доверительный интервал у AUC какой?

Ответила вам в лс.

[quote name='p2004r' post='20101' date='22.08.2016 - 00:54']1. Где этот ROC? (сюда прекрасно атачатся картинки)


Загрузила файл с описанием моделей.

Мне важно понять общий принцип анализа:
по AUC нашла следующий вариант оценки моделей
Интервал AUC Качество модели
0.9-1.0 Отличное
0.8-0.9 Очень хорошее
0.7-0.8 Хорошее
0.6-0.7 Среднее
0.5-0.6 Неудовлетворительное (https://basegroup.ru/community/articles/logistic)

По оценке доверительного интервала прошу уточнить критерии оценки.

Нажмите для просмотра прикрепленного файла

1. В K2 надо поменять "смысл исходов", что бы ROC "прошла над диагональю". Это "чисто косметически".

2. Надежность моделей это не совсем ROC анализ. Он только позволяет оценить "характеристики надежности" решения, но надежность как таковая немного шире. Надежность модели придется кроссвалидацией определить до того как строить по решению ROC (или использовать на свой страх и риск метод практически "не чувствительный" к переобучению). Скорее всего используемый пакет что там такое должен иметь встроенное при поиске "оптимальной" модели.

3. Тесты сравнивающие несколько AUC между собой есть, если я правильно понял вопрос в файле.

Правильно ли я поняла, что модели можно содержательно анализировать, т.е. они значимы.

по 2) тогда как корректно содержательно сделать вывод по модели: если я указываю, что она по хи-квадрату значима, объяснила столько-то дисперсии и имеет достаточные показатели по AUC.
корректно ли говорить, что модель значима и обладает достаточной прогностической мощностью?

Остался один вопрос, может, вы в курсе как рассчитать доверительный интервал для модели с двумя переменными (я пользуююсь спсс)?
может быть есть онлайн калькуляторы?

Спасибо за помощь!

ЭТОТ ВОПРОС СНИМАЕТСЯ,Т.К ОН НЕКОРРЕКТЕН.

Нет. Сначала кроссвалидация должна доказать отсутствие оферфита моделей. А после этого можно приводить такие утверждения.

Я не понимаю что за "модель с двумя переменными".

у меня есть модель , которая содержит только 1 предиктор
и модели, которые содержат 2 предиктора.
Но это модели прогнозируют разные зависимые переменные, т.е. их не надо сравнивать между собой.
необходимо просто определить характеристики каждой модели самой по себе.

В СПСС есть кладка ROC-кривые и там можно автоматически рассчитать доверительный интервал. Но в этой вкладке предполагается ввод только 1 независимой и 1 зависимой переменных.
во вкладке "многослойный перцептрон" можно построить кривую с учетом 2 переменных.
Но там нет в настройках расчета доверительного интервала.
Соответственно возникает вопрос, как же рассчитать ДИ в случае, если модель содержит 2 независимых переменных?

при построении кривой я пользовалась этим алгоритмом http://www.hr-portal.ru/spss/Glava22/Index35.php

Так "наощупь" делать совсем плохо

Вам надо отправить во вкладку результат логистической регрессии _до_применения_ cut value (которое в спсс считают равным "по умолчанию" 0.5 ).

Вы не вкладки программы изучайте, поскольку ваша проблема не в том, что там нет кнопки для построения ДИ, а в том, что вы не поняли по каким значениям нужно построить ROC после логистической регрессии. Вы пытаетесь затолкать свои предикторы при построении ROC. Один предиктор заталкивается, но вы не понимаете, что это не имеет отношения к логистической регрессии.

Спасибо за ответ.
я как раз разобралась в своей ошибке и все пересчитала.

спасибо за терпение к моей безграмотности.
Я уже поняла свою ошибку и исправила по расчету ДИ и кривым.

Благодаря замечаниям и советам форумчан медленно, но верно продвигаюсь.
Внесу коррективы в поставленный вопрос:
Спасибо всем за терпение к моим ошибкам.

Обнаружила в учебнике Орловой И.В. и др. Многомерный статистический анализ в экономических задачах: компьютерное моделирование в SPSS .2009.
указание на то, что R2 - редко используется для анализа моделей, поэтому автор не останавливается на подробном описании его возможных вариаций.
так ли это? если у кого-то есть ссылка на какой-либо источник по этому поводу буду признательна.

Нажмите для просмотра прикрепленного файла в прикрепленном файле характеристики трех моделей и ROC-кривые (уже исправленные).
Можно ли с учетом представленных данных в файле сделать заключение и каким оно будет?

0. Никогда не провоцируйте обсуждение на форумах не своих результатов без явного согласия их авторов.

1. Вы не внимательно читаете что Вам советуют (в данном случае я ).

И R^2 и тем более ROC прекрасные критерии оценки _качества_ модели, которая _интерполирует_ данные эксперимента-наблюдения. Но все эти критерии (и даже попытки в них вносить поправки), и даже Информационные критерии откровенно слабо позволяют оценить _экстраполяционные_ возможности модели (то есть возможность _точно_ предсказывать для не участвовавших в обучении случаев).

Если модель не состоятельна в смысле экстраполяции это называют "переобучение"-"оверфитинг-переподгонка". В этом случае трактовать смысл коэффициентов модели любого вида становиться так же продуктивно, как трактовать смысл коэффициентов полинома наилучшим образом описывающего анализируемый набор данных.

По этому еще раз --- кроссвалидация позволяет получить модель любого вида без переобучения имеющее оптимальное качество по любому выбранному параметру (Хоть AUC, хоть R^2, хоть ....). Достигнутое качество (фактически его распределение) модели для данной структуры модели и является значимым.

Естественно есть масса процедур построенных "вокруг кроссвалидации", которые "ищут" эту самую оптимальную структуру модели + значимость предикторов для данной независимой величины.

Спасибо за замечание - удалила ссылку.
Возможно, я не всегда могу точно выразить свои мысли и, к сожалению, не всегда могу до конца осмыслить ваши советы.
Я понимаю, что характеристики модели и ее прогностические показатели - это разные аспекты.
и в данном случае я не претендую на выявление собственно прогностического потенциала.
я пытаюсь разобраться, можно ли говорить о достоверности моделей для изученной выборки.

Прогностический потенциал неотделим от возможности интерпретации "вкладов в модель" предикторов. Переобученная модель может идеально пройти через все точки на которых обучалась, но не отражать _ничего_ (просто ввиду очень большой размерности пространства в котором построена модель).

Что бы Вам было легче понять, представим более простое условие к оценкам качества моделей. Для этого примем, что мы не "экономим" на количестве доступных данных -- тогда все оценки AUC, R^2 и других метрик качества модели надо вести не на выборке использованной "для обучения модели", а на специально (иногда рандомизированно, иногда имитирующей "генсовокупность" для которой готовиться наша модель) сформированной "тестовой выборке". Данные из "тестовой выборки" не должны никаким образом использоваться при "обучении модели".

Собственно кроссвалидация этот подход просто обобщает -- учим на одной выборке, качество оцениваем на второй выборке.

Да, я уже почитала про кроссвалидацию.
Спасибо за дельные советы и подсказки!

Marchanka, вы спрашиваете, какое заключение можно сделать по представленным в вашем файле данным, которые вы назвали Характеристики моделей с кривыми. Но до характеристик моделей еще нужно получить результат логистичсекой регрессии, о чем вас просил p2004r.
Прежде всего в логистической регрессии оценивается вклад переменных в прогнорзируемое состояние. При этом, учитывается тип предикторов, количественные ранговые или бинарные. Трактовка этих коэффициентов зависит от типа предикторов.

В случае одинокого бинарного предиктора, как в вашей первой модели нет смысла вообще использовать логистическую регрессию. Два бинарных признака и табл 2х2 дает возможность посчитать OR, а соответствующие калькуляторы дадут и расчет 95% ДИ. При этом ,вы уже имеете ответ на вопрос у м или ж и во сколько раз выше шансы иметь прогнозируемое состояние дин СОЦР нег.
И OR точно совпадет с exp коэффициена регрессии в уравнении логистической регрессии.
И ROC кривая по одной точке тоже не имеет никакого смысла, поскольку чувствительность и специфичность также однозначно считается из той же таблице 2х2. И никакого receiver по одной точке не может быть. Это по первой Модели (в кавычках). И еще замечание , пол часто включают в модель мультивариантной бинарной логистической регрессии, чтобы скорректировать коэффициенты предикторов. Оценки факторов риска (exp(b)) будут называться adjusted for sex

Две последующие модели прогнозируют одну и ту же переменную. Возникает вопрос, почему два предиктора одной и той же прогнозируемой переменной находяться в разнных моделях и почему вы хотите сравнивамь модели , а не возможности предикторов, сравнивая OR. Не факт, что оба предикторы будут иметь статистически значимые коэффициенты регрессии, находясь в одной модели.

Абсолютно правильная рекомендация! Без подробных деталей практически невозможно дать полезный ответ и рекомендации. При описании подобных сложных вопросов следует привести реальные фрагменты результатов полученных в используемом стат. пакете.
Подобные примеры таких фрагментов можете увидеть в моих статьях по логистической регрессии по адресам http://www.biometrica.tomsk.ru/logit_1.htm --- http://www.biometrica.tomsk.ru/logit_9.htm
При этом весьма важно кроме общих результатов типа само уравнение, проценты, ROC-кривые, и т.п. привести и конкретные результаты по каждому отдельному наблюдению сравниваемых групп. В этих таблицах со всеми наблюдениями можно оценить, какие конкретно наблюдения на переклассифицированы в свои собственные группы. И оценить почему это так.

Итак, по сложным вопросам надо приводить большие объёмы полученной информации. Иначе вместо детальных ответов и рекомендаций можно дать лишь отписку.