Мультиклассовый ROC анализ, предложение вместе разобраться Опции

[Игорь]

Проанализировал присланные коллегами материалы. Думаю, удачным будет алгоритм под названием многоклассовый ROC "Один против остальных" (в ссылке в первом посте описан первым), если решу для себя поставленные вопросы..

Сообщение отредактировал Игорь - 23.03.2025 - 11:28

[ИНО]

К вопросу о множественности показателей для классификации. Вот отрывок из книги Григорьева "Машинное обучение. Портфолио реальных проектов".
Для очень сильно несбалансированных случаев (скажем, 1000 отрицательных результатов на 1 положительный) AUC может стать проблемой. В таких случаях лучше работает другой показатель: площадь под кривой точности-отклика, или AU PR. Кривая точности-отклика аналогична ROC, но вместо построения FPR в сравнении с TPR мы строим отклик по оси x, а точность - по оси y. Как и для кривой ROC, мы можем вычислить площадь под кривой PR и использовать ее в качестве показателя для оценки различных моделей.

Очень хорошо что в этот раз Вы все-таки решили сначала почитать. Но там есть своя загвоздка: кривая PR во многих моделях зело страшная, с кучей локальных максимумов, и нахождение по ней оптимальной точки отсечения - тот еще квест. Площадь под кривой из-за этой зубчатости очень нестабильна и реагирует на малейшие отклонения в параметрах модели, так что эффективность ее использования в качестве критерия оптимальности под большим вопросом. Но самое главное, что помимо вех этих "кривых преемников" существуют классические статистические меры ошибок, которые работают не хуже. Важно только, чтобы модель выдавала прогноз в виде вероятности.

]Во время прогулки мне в голову пришла гениальная идея

Любите же Вы велосипеды изобретать! Вообще, наверное, это приколочено - быть безграмотным настолько, что даже до самых простых вещей доходить самостоятельно и гордиться собой Но в названном Вами методе есть одна проблема: во многих реальных задачах нет никакого "целевого класса", веса всех равны.

Сообщение отредактировал ИНО - 17.03.2025 - 13:54

[Игорь]

Проанализировал материалы еще раз. В том числе научные статьи из списка, приведенного выше, за которые спасибо. Думаю, пока преждевременно использовать ROC анализ для оценки качества классификации данных с числом градаций результата более двух. Все попытки как-то привязать данный метод к таким данных пока не представляются убедительными. Попарная классификация - да, это возможно и легко делается просто манипуляциями с исходными данными (например, в случае примера с ирисами Фишера можно "растащить результаты по трем столбцам из нулей и единиц - первый столбец составляют единицы для первого класса и нули для всех остальных, и т.п.). С учетом возможного сопоставления ROC для каждой пары нужно немного скорректировать выдачу данных для построения ROC (сейчас строится "оптимальный" график, исключающий ненужные точки, но они могут быть важны для другой пары классов).

Сообщение отредактировал Игорь - 27.03.2025 - 07:41