Нужен совет по ROC анализу, Совет о правильности использования метода Опции

[nmrdoc]

Уважаемые коллеги, доброго дня! У нашей научной группы есть вопрос о правильности и справедливости использования метода ROC-анализа для оценки эффективности метода диагностики.

Исследование из области рентгенологии (МРТ).
Гипотеза: новый метод получения изображений с использованием переноса намагниченности более эффективен, чем метод с подавлением сигнала от жировой ткани в определении метастатических очагов в печени

Материал исследования: 13 пациентов со 132 очагами в печени. Всем пациентам выполнено МРТ с динамическим контрастированием и получены постконтрастные изображения с жироподавлением и с переносом намагниченности.

Каждый очаг в обоих режимах оценивался по характеристикам: размер очага (мм), структура (однородно/неоднородно), границы (четкие/нечеткие)

Вопрос: для сравнения эффективности визуализации можно ли использовать ROC-анализ? Если нет, то что можно использовать для оценки и сравнения?

[ogurtsov]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

Сообщение отредактировал ogurtsov - 21.02.2016 - 13:53

[nmrdoc]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

[DoctorStat]

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

Я небольшой специалист в области ROC анализа - прочитал только Википедию. Для начала в качестве признака метастаза оставить один параметр из трех, который кажется вам определяющим, например, размер очага. Затем, дискретизовать этот параметр. Например, если характерный размер очага порядка 1 см, то шаг дискретизации выбрать поменьше - 1 мм. Теперь можно начать процедуру классификации согласно циклическому алгоритму:
1. Выбрать минимальный размер очага и посчитать для него:

• true-positive, TP - пациент болен, диагноз положительный
• false-positive, FP - пациент здоров, диагноз положительный
• true-negative, TN - пациент здоров, диагноз отрицательный
• false-negative, FN - пациент болен, диагноз отрицательный

2. Увеличить размер очага на шаг дискретизации и вернуться к п.1

Выполнять п.1-2 до достижения максимального очага. Если метод для конкретного больного вообще не видит очага, то отнести этого пациента к группе FN.
Полученные точки для каждого из двух методов нужно нанести на график (он называется ROC-кривая) и выложить на форуме, чтобы мы полюбовались результатом.

Сообщение отредактировал DoctorStat - 21.02.2016 - 18:00