Нужен совет по ROC анализу, Совет о правильности использования метода Опции

[nmrdoc]

Уважаемые коллеги, доброго дня! У нашей научной группы есть вопрос о правильности и справедливости использования метода ROC-анализа для оценки эффективности метода диагностики.

Исследование из области рентгенологии (МРТ).
Гипотеза: новый метод получения изображений с использованием переноса намагниченности более эффективен, чем метод с подавлением сигнала от жировой ткани в определении метастатических очагов в печени

Материал исследования: 13 пациентов со 132 очагами в печени. Всем пациентам выполнено МРТ с динамическим контрастированием и получены постконтрастные изображения с жироподавлением и с переносом намагниченности.

Каждый очаг в обоих режимах оценивался по характеристикам: размер очага (мм), структура (однородно/неоднородно), границы (четкие/нечеткие)

Вопрос: для сравнения эффективности визуализации можно ли использовать ROC-анализ? Если нет, то что можно использовать для оценки и сравнения?

[p2004r]

Уважаемые коллеги, доброго дня! У нашей научной группы есть вопрос о правильности и справедливости использования метода ROC-анализа для оценки эффективности метода диагностики.

Исследование из области рентгенологии (МРТ).
Гипотеза: новый метод получения изображений с использованием переноса намагниченности более эффективен, чем метод с подавлением сигнала от жировой ткани в определении метастатических очагов в печени

Материал исследования: 13 пациентов со 132 очагами в печени. Всем пациентам выполнено МРТ с динамическим контрастированием и получены постконтрастные изображения с жироподавлением и с переносом намагниченности.

Каждый очаг в обоих режимах оценивался по характеристикам: размер очага (мм), структура (однородно/неоднородно), границы (четкие/нечеткие)

Вопрос: для сравнения эффективности визуализации можно ли использовать ROC-анализ? Если нет, то что можно использовать для оценки и сравнения?

С ROC анализом (вернее оценкой насколько пригодна оцениваемая им модель) немного все сложнее. Я пару раз уже писал на форуме про критерий

Код

"youden"

                   max(sensitivities + r \times specificities)          
          
     "closest.topleft"

            min((1 - sensitivities)^2 + r \times (1- specificities)^2)  
          
     with

                 r = (1 - prevalence) / (cost * prevalence)            
    
     By default, prevalence is 0.5 and cost is 1 so that no weight is
     applied in effect.

Графически всё это можно посмотреть вот тут http://mldb.ai/blog/posts/2016/01/ml-meets-economics/

Может оказаться что рабочую модель надо оценивать по pROC (Приведенный критерий кстати даже в самых плохих случаях будет честно показывать "всегда да" или "всегда нет")

Эскизы прикрепленных изображений