Оценка качества построения модели Опции

[ubsu]

Добрый день!
Прошу помощи!
Одним из критериев оценки качества построенной модели является такой показатель как "Процент правильной классификации". Чем выше процент - тем лучше модель.

А какой процент является пограничным? После которого мы можем говорить о применимости данной модели для данной классификации? Как вычислить это пороговое значение?

[p2004r]

Добрый день!
Прошу помощи!
Одним из критериев оценки качества построенной модели является такой показатель как "Процент правильной классификации". Чем выше процент - тем лучше модель.

А какой процент является пограничным? После которого мы можем говорить о применимости данной модели для данной классификации? Как вычислить это пороговое значение?

1) Имеет смысл говорить о точности классификации только в терминах ROC. Для конкретной ситуации если сразу модель строиться, то её по partialAUC тоже сразу и оптимизировать.

2) Оптимальный пороговый уровень считать с учетом соотношения цены ошибок первого и второго рода и реальной частоты случаев в популяции в которой будет применяться построенный классификатор. И посчитав смотреть достаточно ли качество.