Использовал логистическую регрессию для прогноза возможного статуса клиента в будущем. В реальности миноритарная категория составляет не более 2-3%, поэтому выборка перед обучением была сбалансирована 50%-50%. После обучения общий % верно классифицированных случаев составил 79%. Допустим модель по всем характеристикам пригодна для прогнозирования, проверена на контрольной, проверена на аналогичных данных других периодов. Вопрос такой, на реальных данных, когда уровень пенетрации прогнозной категории составляет 2-3% можно ли достичь уровня верно классифицированных случаев, который был при обучении ( 75%)? И если нет, то каким этот уровень должен быть и как его определять? Объясните, пожалуйста, кто сталкивался с таким вопросом.

Оценить свою конкретную модель легко, взяв не общую ошибку, а ошибки первого и второго рода (тут висит ссылка на видео рассказ об этом).

Но устраивая "закат солнца вручную" Вы все равно не посчитаете оптимальный уровень принятия решения. Вам нужно провести анализ ROC и рассчитать оптимальное решение для частоты случаев в популяции (еще можно и оптимизировать по "стоимости" ошибок первого и второго рода).

Спасибо за ответ, буду разбираться. Не могу только ссылку вашу найти.

http://www.youtube.com/watch?v=D8VZqxcu0I0