Интерпретация данных логистической регрессии Опции

[marchanka]

Подскажите, пожалуйста, как интерпретировать случаи, если бинарная логистическая регрессия дала значимые результаты:
хи квадрат значим, независимые переменные значимы, общее число корректно предсказанных случаев по модели более 70,
а правильно предсказанных более 50,% но доля объясненной дисперсии (R2 Наделькеркеса) - менее 0,500.
Модель работает? какой из показателей (% предсказанных или дисперсия более важный?)
Правильно ли я понимаю, что даже, если R2 менее 0,5, это значит, что по модели прогнозирование лучше, чем наугад.

в сообщениях ниже вопрос был отредактирован

[p2004r]

Подскажите, пожалуйста, как интерпретировать случаи, если бинарная логистическая регрессия дала значимые результаты: хи квадрат значим, независимые переменные значимы, общее число корректно предсказанных случаев по модели более 70, а правильно предсказанных более 50,% но доля объясненной дисперсии (R2 Наделькеркеса)-менее 0,500.
Модель работает? какой из показателей (% предсказанных или дисперсия более важный?)
Правильно ли я понимаю, что даже, если R2 менее 0,5, это значит, что по модели прогнозирование лучше, чем наугад.

Надо построить ROC и провести её анализ. Искать есть ли в зависимости эффективный трешоилд. Это если тонко.

А если интересует "абстрактная предсказательная сила" то посчитать доверительный интервал для AUC.

[marchanka]

Надо построить ROC и провести её анализ. Искать есть ли в зависимости эффективный трешоилд. Это если тонко.

А если интересует "абстрактная предсказательная сила" то посчитать доверительный интервал для AUC.

построила ROC.
я так понимаю, что смотреть надо на AUC. если 05-0,6 - модель неудовлетворительная.
возникает два допольнительных вопроса:
1) надо ли при этом учитывать % корректно предсказанных случаев по обучающей и контрольной моделям? (но я так и не поняла, что это за модели).
2) показатель AUC используется для сравнения двух моделей? или с его помощью можно оценить и надежность модели в целом (самой по себе)?

есть одна модель с такими показателями:
обучающая модель % предсказанных 1 з.переменной 100%, 2-ой категории з.переменной 0%, А ОБЩИЙ 60%
В КОНТРольной модели: 100%, 0%, общий 70,6
а AUC. 0,758

в свою очередь в бинарной регрессии для этой модели сделующие характеристики:
χ2 = 21,895, р=0,001, – 2 LL=68,460, R2 Нэйджелкерка = 0,372
% корректно предсказанных случаев =72 , % корректно предсказанных всего=79,7

Сообщение отредактировал marchanka - 21.08.2016 - 12:41

[p2004r]

построила ROC.

а AUC. 0,758

1. Где этот ROC? (сюда прекрасно атачатся картинки)

2. Доверительный интервал у AUC какой?

[marchanka]

[quote name='p2004r' post='20101' date='22.08.2016 - 00:54']1. Где этот ROC? (сюда прекрасно атачатся картинки)


Загрузила файл с описанием моделей.

Мне важно понять общий принцип анализа:
по AUC нашла следующий вариант оценки моделей
Интервал AUC Качество модели
0.9-1.0 Отличное
0.8-0.9 Очень хорошее
0.7-0.8 Хорошее
0.6-0.7 Среднее
0.5-0.6 Неудовлетворительное (https://basegroup.ru/community/articles/logistic)

По оценке доверительного интервала прошу уточнить критерии оценки.

[attachment=1380:регресси..._модели2.doc]

Сообщение отредактировал marchanka - 23.08.2016 - 00:41

[p2004r]

1. В K2 надо поменять "смысл исходов", что бы ROC "прошла над диагональю". Это "чисто косметически".

2. Надежность моделей это не совсем ROC анализ. Он только позволяет оценить "характеристики надежности" решения, но надежность как таковая немного шире. Надежность модели придется кроссвалидацией определить до того как строить по решению ROC (или использовать на свой страх и риск метод практически "не чувствительный" к переобучению). Скорее всего используемый пакет что там такое должен иметь встроенное при поиске "оптимальной" модели.

3. Тесты сравнивающие несколько AUC между собой есть, если я правильно понял вопрос в файле.