Мультиклассовый ROC анализ, предложение вместе разобраться Опции

[Игорь]

Как известно, ROC анализ может применяться как удобный способ оценки качества бинарной классификации (классификации на 2 класса). Например, логистической регрессии. Способ подробно изучен, имеется в пакетах программ и обычно не вызывает затруднений в интерпретации результатов.

Проблема возникает, когда метод применяется для классификации на количество классов больше 2-х. В таком случае стандартный прием - попарная классификация. Например, имеем стандартный набор данных, применяемый для проверки концепций и программ - ирисы Фишера. Каждый цветок описан 4-мя параметрами и на этой основе относится к одному из 3-х видов. Таким образом, можно сравнить 1-й вид со всеми остальными, 2-й со всеми остальными и 3-й со всеми остальными. Получаем 3 модели логистических регрессий (если используем данный метод), которые оцениваются 3-мя ROC кривыми (для каждого сравнения). Относительно результатов можно сделать определенные статистические выводы.

Но как оценить качество классификации всего массива? Вводится понятие мультиклассового ROC анализа. Вот тут ссылка на подробное иллюстрированное (в т.ч. программным кодом) ВВЕДЕНИЕ (для лучшего чтения в браузере можно включить перевод). Способ заключается в том, что по одному из 2-х предложенных алгоритмов производится усреднение обычных попарных ROC кривых. В результате получается как бы ROC кривая для всего массива данных и всех классов. Непонятно одно - в каждом из попарных случаев модели разные. Т.е. некорректно утверждать, что модель осуществляет мультиклассовую классификацию, ибо для нашего примера имеются 3 разных (!) модели, каждая из которых с тем или иным качеством различает 2 класса (например, первая модель различает объекты на "1 класс" и "не 1 класс", и т.д.), как описано в предыдущем абзаце. Допустимо ли усреднять ROC кривые? Какие будут идеи?

Сообщение отредактировал Игорь - 8.03.2025 - 15:48

[ИНО]

Да нет, там не какие-то абстрактные группы, а три конкретных ботанических вида, один даже на языке вертится - Iris setosa - два других не помню уже. И далее уже, опираясь на морфометрию, пытаются их теми или иными способами разделить.

Что же касается непосредственно сабжа, то лично у меня главный вопрос: зачем? Я далек от позиции Фрэнка Харрела - неприменимого борца с ROC в качестве меры оценки качества подгонки моделей логистической регрессии, но конкретно в случае с мультиномиальной регресси "на кой бес вам этот стресс"? Это чисто гимнастика для ума, или же Вы действительно полагаете в данном случае AUC оптимальной мерой?

Сообщение отредактировал ИНО - 11.03.2025 - 00:30

[Игорь]

Что же касается непосредственно сабжа, то лично у меня главный вопрос: зачем? Я далек от позиции Фрэнка Харрела - неприменимого борца с ROC в качестве меры оценки качества подгонки моделей логистической регрессии, но конкретно в случае с мультиномиальной регресси "на кой бес вам этот стресс"? Это чисто гимнастика для ума, или же Вы действительно полагаете в данном случае AUC оптимальной мерой?

Да, была идея применить ROC для оценки качества классификации на число классов более 2, в том числе для нейронных сетей (но это не обязательно). Вообще, судя по публикациям, ROC часто используют в медицинских и фармакологических исследованиях. Обсуждать "зачем", наверное, в данном случае контрпродуктивно. Простейший ответ - потому что нужно пользователям нашего открытого, бесплатного и свободного ПО. Если конкретно, в данном случае человек на свою научную статью получил замечание рецензента, в котором тот предложил привести ROC кривую и дать точечную и интервальную оценку AUC. Давать людям непроверенный (возможно, непонятый) лично инструмент не считаю возможным. Поэтому решил посоветоваться с коллегами.
По поводу ссылки в первом сообщении темы - забыл отметить, что в первоисточнике не упоминается так называемый порог отсечения (cut-off threshold), т.е. число в интервале от 0 до 1, превышение которого моделью дает 1, а значение, меньшее порога, нуль. ROC - это не зависимость чувствительности от неспецифичности (1 - специфичность), а зависимость того и другого от порога отсечения. Порог отсечения как раз определяет оптимальные (либо, если угодно, требуемые исследователю) значения чувствительности и специфичности метода. И как быть, если разные не только модели, но и пороги отсечения (т.е. они могут браться как равномерно, скажем 1000 значений от 0 до 1, так и неравномерно в зависимости от результатов расчета)? Как учитываются данные параметры (в т.ч. значения, оптимальные или выбранные исследователем для каждой пары классов) при построении результирующей кривой, тоже не уточняется.

Сообщение отредактировал Игорь - 11.03.2025 - 08:38