ROC-кривая по результатам логистической регрессии Опции

[nokh]

По результатам множественной логистической регрессии программа MedCalc наряду её параметрами и отношениями шансов выдаёт также площадь под характеристической кривой. Когда признак один - всё ясно. Но
(1) Не вполне понятен механизм расчёта чувствительности и специфичности когда в уравнении, например, 5-10 параметров. Неужто алгоритм перебирает все возможные варианты, а кривую строит по наиболее отдалённым от диагонали точкам?
(2) программа MedCalc саму кривую не строит, может кто знает в каком пакете по результатам множественной логистической регрессии строится график ROC-кривой или хотя бы рассчитываются точки для её построения.

[Игорь]

ROC анализ неоднократно обсуждался в различных темах. Однако понимание, что такое ROC, с непривычки может быть сложным. Проблема на самом деле - не проблема, если заучить, что такое ROC.

ROC - это не график одной [зависимой] величины от другой [независимой] величины. ROC - это так называемая параметрическая кривая, когда не X и Y зависят друг от друга, а оба зависят от некоторой независимой переменной. В ROC-анализе эта независимая переменная - порог отсечения. Меняя порог отсечения (от 0 до 1, или то же в %%, с некоторым фиксированным шагом), получают набор точек (X - чувствительность,Y - неспецифичность), которые и изображаются на графике. Поэтому число параметров в модели не имеет значения - хоть 1000. Исследуется разрешающая способность модели. А модель - бинарный классификатор (логит, пробит, нейронная сеть).

ROC-кривую MedCalc вроде строит ( прикрепил в файлах пример построения в MedCalc - лекция В.П. Леонова по ROC-анализу и скриншоты, которые сделал сам)

Не стал бы ссылаться на указанную лекцию. Вот только некоторые ошибки, замеченные в течение 5 минут просмотра (без анализа таблиц):
1. Слайд 15 - ROC - не Receiver Operator Characteristic (это даже по-английски безграмотно), а Receiver Operating Characteristic. Дословный перевод ROC обычно берется из радиотехники и здесь для русского уха не имеет никакого смысла. А вот перевод "ROC curve" как "кривая соотношений правильного и ложного обнаружения сигналов" - это звучит совершенно адекватно для медицинской диагностики, тем более для радиотехники.
2. Слайд 17 - предложенный метод построения ROC представляется сомнительным
3. Слайды 18, 26, 28, 30, 32, 38, 44 - ROC кривая никогда ни в каких точках не проходит ниже диагонали и не пересекает диагональ (в пределе ROC, совпадающая с диагональю, означает бесполезный классификатор, хуже бесполезного классификатора не бывает)

Данные ошибки показывают, что автор лекции недостаточно разобрался в теме. Уж тем более не может претендовать на роль эксперта. Автор лекции, естественно, пользовался некоторой программой (видимо, указанной в цитированном посте). Если бы он знал хотя бы то, что представлено в нашем 3-м замечании, то понял бы, что программа считает неверно. Потому использоваться не может.

Сообщение отредактировал Игорь - 25.04.2010 - 17:40