Нужен совет по ROC анализу, Совет о правильности использования метода Опции

[nmrdoc]

Уважаемые коллеги, доброго дня! У нашей научной группы есть вопрос о правильности и справедливости использования метода ROC-анализа для оценки эффективности метода диагностики.

Исследование из области рентгенологии (МРТ).
Гипотеза: новый метод получения изображений с использованием переноса намагниченности более эффективен, чем метод с подавлением сигнала от жировой ткани в определении метастатических очагов в печени

Материал исследования: 13 пациентов со 132 очагами в печени. Всем пациентам выполнено МРТ с динамическим контрастированием и получены постконтрастные изображения с жироподавлением и с переносом намагниченности.

Каждый очаг в обоих режимах оценивался по характеристикам: размер очага (мм), структура (однородно/неоднородно), границы (четкие/нечеткие)

Вопрос: для сравнения эффективности визуализации можно ли использовать ROC-анализ? Если нет, то что можно использовать для оценки и сравнения?

[ogurtsov]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

Сообщение отредактировал ogurtsov - 21.02.2016 - 13:53

[nmrdoc]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

[ogurtsov]

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

У вас должна быть какая-то задача, ради которой делается вся работа. Если нужно и ценно классифицировать очаги по размеру - классифицируйте!
Только есть еще такой нюанс: вам понадобится референтный метод, относительно которого считаются все ложноположительные и ложноотрицательные случаи классификации. То есть для каждого очага на тестовой выборке нужны априорные знания о том, какой он.