Мультиклассовый ROC анализ, предложение вместе разобраться Опции

[Игорь]

Как известно, ROC анализ может применяться как удобный способ оценки качества бинарной классификации (классификации на 2 класса). Например, логистической регрессии. Способ подробно изучен, имеется в пакетах программ и обычно не вызывает затруднений в интерпретации результатов.

Проблема возникает, когда метод применяется для классификации на количество классов больше 2-х. В таком случае стандартный прием - попарная классификация. Например, имеем стандартный набор данных, применяемый для проверки концепций и программ - ирисы Фишера. Каждый цветок описан 4-мя параметрами и на этой основе относится к одному из 3-х видов. Таким образом, можно сравнить 1-й вид со всеми остальными, 2-й со всеми остальными и 3-й со всеми остальными. Получаем 3 модели логистических регрессий (если используем данный метод), которые оцениваются 3-мя ROC кривыми (для каждого сравнения). Относительно результатов можно сделать определенные статистические выводы.

Но как оценить качество классификации всего массива? Вводится понятие мультиклассового ROC анализа. Вот тут ссылка на подробное иллюстрированное (в т.ч. программным кодом) ВВЕДЕНИЕ (для лучшего чтения в браузере можно включить перевод). Способ заключается в том, что по одному из 2-х предложенных алгоритмов производится усреднение обычных попарных ROC кривых. В результате получается как бы ROC кривая для всего массива данных и всех классов. Непонятно одно - в каждом из попарных случаев модели разные. Т.е. некорректно утверждать, что модель осуществляет мультиклассовую классификацию, ибо для нашего примера имеются 3 разных (!) модели, каждая из которых с тем или иным качеством различает 2 класса (например, первая модель различает объекты на "1 класс" и "не 1 класс", и т.д.), как описано в предыдущем абзаце. Допустимо ли усреднять ROC кривые? Какие будут идеи?

Сообщение отредактировал Игорь - 8.03.2025 - 15:48

[ИНО]

Меня?

[DoctorStat]

Меня?

К вопросу о множественности показателей для классификации. Вот отрывок из книги Григорьева "Машинное обучение. Портфолио реальных проектов".
Для очень сильно несбалансированных случаев (скажем, 1000 отрицательных результатов на 1 положительный) AUC может стать проблемой. В таких случаях лучше работает другой показатель: площадь под кривой точности-отклика, или AU PR. Кривая точности-отклика аналогична ROC, но вместо построения FPR в сравнении с TPR мы строим отклик по оси x, а точность - по оси y. Как и для кривой ROC, мы можем вычислить площадь под кривой PR и использовать ее в качестве показателя для оценки различных моделей.

Во время прогулки мне в голову пришла гениальная идея об обобщенном показателе, назовем его AUC-multi, много(>2)классовой классификации, который должен максимально хорошо разделять все классы. Он должен иметь следующую вероятностную интерпретацию:
1) случайно выбираем целевой класс и из него случайно выбираем элемент и получаем его оценку (вероятность принадлежности к целевому классу),
2) все остальные элементы нецелевых классов сваливаем в одну кучу, из которой опять случайно выбираем элемент и получаем его оценку (вероятность принадлежности к целевому классу),
3) разность этих вероятностей и будет значением показателя AUC-multi
Дело осталось за малым - написать такой алгоритм

Сообщение отредактировал DoctorStat - 16.03.2025 - 17:27

[Игорь]

Проанализировал присланные коллегами материалы. Думаю, удачным будет алгоритм под названием многоклассовый ROC "Один против остальных" (в ссылке в первом посте описан первым), если решу для себя поставленные вопросы..

Сообщение отредактировал Игорь - 23.03.2025 - 11:28