Оценка эффективности Опции

[monday]

Добрый день. Очень нужна помощь. Есть клиническая оценка (прогрессирование либо стабилизация процесса) сразу после лечения и через год после него. И есть модель, которая предсказывает результат через год. Как показать, что модель лучше предсказывает, что будет через год, чем клиническая оценка, данная сразу после лечения? Об объективности речи не идет, очень нужно показать, что "разработанная модель позволит повысить эффективность ранней оценки результатов лечения"

[p2004r]

Добрый день. Очень нужна помощь. Есть клиническая оценка (прогрессирование либо стабилизация процесса) сразу после лечения и через год после него. И есть модель, которая предсказывает результат через год. Как показать, что модель лучше предсказывает, что будет через год, чем клиническая оценка, данная сразу после лечения? Об объективности речи не идет, очень нужно показать, что "разработанная модель позволит повысить эффективность ранней оценки результатов лечения"

Сравнить ROC кривые обоих прогнозов на достоверность отличий.

[monday]

Сравнить ROC кривые обоих прогнозов на достоверность отличий.

Различия значимы, и все вроде бы прекрасно, но проблема в том, что разница в диагностической эффективности при этом всего 6%. Начальство не устраивает, хотя чувствительность у модели выше на 30%, что и нужно, общем-то, по цели работы. Стоит сказать чтоб отстали и брали как есть?

[p2004r]

Различия значимы, и все вроде бы прекрасно, но проблема в том, что разница в диагностической эффективности при этом всего 6%. Начальство не устраивает, хотя чувствительность у модели выше на 30%, что и нужно, общем-то, по цели работы. Стоит сказать чтоб отстали и брали как есть?

Тогда считайте partial AUC. Или посчитайте оптимальные точки отсечения именно для частот решений характерных для случаев применения метода решения на практике.