Нужен совет по ROC анализу, Совет о правильности использования метода Опции

[nmrdoc]

Уважаемые коллеги, доброго дня! У нашей научной группы есть вопрос о правильности и справедливости использования метода ROC-анализа для оценки эффективности метода диагностики.

Исследование из области рентгенологии (МРТ).
Гипотеза: новый метод получения изображений с использованием переноса намагниченности более эффективен, чем метод с подавлением сигнала от жировой ткани в определении метастатических очагов в печени

Материал исследования: 13 пациентов со 132 очагами в печени. Всем пациентам выполнено МРТ с динамическим контрастированием и получены постконтрастные изображения с жироподавлением и с переносом намагниченности.

Каждый очаг в обоих режимах оценивался по характеристикам: размер очага (мм), структура (однородно/неоднородно), границы (четкие/нечеткие)

Вопрос: для сравнения эффективности визуализации можно ли использовать ROC-анализ? Если нет, то что можно использовать для оценки и сравнения?

[ogurtsov]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

Сообщение отредактировал ogurtsov - 21.02.2016 - 13:53

[nmrdoc]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

[ogurtsov]

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

У вас должна быть какая-то задача, ради которой делается вся работа. Если нужно и ценно классифицировать очаги по размеру - классифицируйте!
Только есть еще такой нюанс: вам понадобится референтный метод, относительно которого считаются все ложноположительные и ложноотрицательные случаи классификации. То есть для каждого очага на тестовой выборке нужны априорные знания о том, какой он.

[nmrdoc]

У вас должна быть какая-то задача, ради которой делается вся работа. Если нужно и ценно классифицировать очаги по размеру - классифицируйте!
Только есть еще такой нюанс: вам понадобится референтный метод, относительно которого считаются все ложноположительные и ложноотрицательные случаи классификации. То есть для каждого очага на тестовой выборке нужны априорные знания о том, какой он.

И тогда классификатором будет 1 - соответствует, 0 - не соответствует референтному методу? Такой метод есть - это результаты трехфазного контрастного исследования, с ними все и сравнивается. На трехфазном исследовании допустим очаг 1 см, на жироподавлении - 0,5 см, а на МТС - 1 см. То для режима с жироподавлением мы классифицируем как 0, а для МТС - 1. Так ведь?

Сообщение отредактировал nmrdoc - 21.02.2016 - 14:52

[ogurtsov]

И тогда классификатором будет 1 - соответствует, 0 - не соответствует референтному методу? Такой метод есть - это результаты трехфазного контрастного исследования, с ними все и сравнивается.

Да, как-то так. Для размера придумаете какое-то пороговое значение, если это целесообразно, а для структуры (однородно/неоднородно) и типа границы (четкие/нечеткие) ничего и придумывать не нужно, сразу классифицируете по критериям "однородности" и "четкости", которые, очевидно, нужно будет подбирать для достижения оптимального качества классификации.

[nmrdoc]

Да, как-то так. Для размера придумаете какое-то пороговое значение, если это целесообразно, а для структуры (однородно/неоднородно) и типа границы (четкие/нечеткие) ничего и придумывать не нужно, сразу классифицируете по критериям "однородности" и "четкости", которые, очевидно, нужно будет подбирать для достижения оптимального качества классификации.

Спасибо!

[p2004r]

Уважаемые коллеги, доброго дня! У нашей научной группы есть вопрос о правильности и справедливости использования метода ROC-анализа для оценки эффективности метода диагностики.

Исследование из области рентгенологии (МРТ).
Гипотеза: новый метод получения изображений с использованием переноса намагниченности более эффективен, чем метод с подавлением сигнала от жировой ткани в определении метастатических очагов в печени

Материал исследования: 13 пациентов со 132 очагами в печени. Всем пациентам выполнено МРТ с динамическим контрастированием и получены постконтрастные изображения с жироподавлением и с переносом намагниченности.

Каждый очаг в обоих режимах оценивался по характеристикам: размер очага (мм), структура (однородно/неоднородно), границы (четкие/нечеткие)

Вопрос: для сравнения эффективности визуализации можно ли использовать ROC-анализ? Если нет, то что можно использовать для оценки и сравнения?

С ROC анализом (вернее оценкой насколько пригодна оцениваемая им модель) немного все сложнее. Я пару раз уже писал на форуме про критерий

Код

"youden"

                   max(sensitivities + r \times specificities)          
          
     "closest.topleft"

            min((1 - sensitivities)^2 + r \times (1- specificities)^2)  
          
     with

                 r = (1 - prevalence) / (cost * prevalence)            
    
     By default, prevalence is 0.5 and cost is 1 so that no weight is
     applied in effect.

Графически всё это можно посмотреть вот тут http://mldb.ai/blog/posts/2016/01/ml-meets-economics/

Может оказаться что рабочую модель надо оценивать по pROC (Приведенный критерий кстати даже в самых плохих случаях будет честно показывать "всегда да" или "всегда нет")

Эскизы прикрепленных изображений

 

[DoctorStat]

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

Я небольшой специалист в области ROC анализа - прочитал только Википедию. Для начала в качестве признака метастаза оставить один параметр из трех, который кажется вам определяющим, например, размер очага. Затем, дискретизовать этот параметр. Например, если характерный размер очага порядка 1 см, то шаг дискретизации выбрать поменьше - 1 мм. Теперь можно начать процедуру классификации согласно циклическому алгоритму:
1. Выбрать минимальный размер очага и посчитать для него:

• true-positive, TP - пациент болен, диагноз положительный
• false-positive, FP - пациент здоров, диагноз положительный
• true-negative, TN - пациент здоров, диагноз отрицательный
• false-negative, FN - пациент болен, диагноз отрицательный

2. Увеличить размер очага на шаг дискретизации и вернуться к п.1

Выполнять п.1-2 до достижения максимального очага. Если метод для конкретного больного вообще не видит очага, то отнести этого пациента к группе FN.
Полученные точки для каждого из двух методов нужно нанести на график (он называется ROC-кривая) и выложить на форуме, чтобы мы полюбовались результатом.

Сообщение отредактировал DoctorStat - 21.02.2016 - 18:00