Нужен совет по ROC анализу, Совет о правильности использования метода Опции

[nmrdoc]

Уважаемые коллеги, доброго дня! У нашей научной группы есть вопрос о правильности и справедливости использования метода ROC-анализа для оценки эффективности метода диагностики.

Исследование из области рентгенологии (МРТ).
Гипотеза: новый метод получения изображений с использованием переноса намагниченности более эффективен, чем метод с подавлением сигнала от жировой ткани в определении метастатических очагов в печени

Материал исследования: 13 пациентов со 132 очагами в печени. Всем пациентам выполнено МРТ с динамическим контрастированием и получены постконтрастные изображения с жироподавлением и с переносом намагниченности.

Каждый очаг в обоих режимах оценивался по характеристикам: размер очага (мм), структура (однородно/неоднородно), границы (четкие/нечеткие)

Вопрос: для сравнения эффективности визуализации можно ли использовать ROC-анализ? Если нет, то что можно использовать для оценки и сравнения?

[ogurtsov]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

Сообщение отредактировал ogurtsov - 21.02.2016 - 13:53

[nmrdoc]

Вам нужно сначала свести свою задачу к задаче двухклассовой классификации. Затем построить классификатор на тестовой выборке. Затем проверить качество классификации на контрольной выборке, и только на этом этапе ваша ROC-кривая покажет, лучше или хуже один метод по сравнению с другим.
Кроме ROC-кривых можно еще попробовать строить PR-кривые.

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

[ogurtsov]

А можно по-подробнее и с примерами. Двухклассовая классификация: очаг крупный/мелкий - более 1 см и менее 1 см? Раскидать на тестовой выборке очаги по размеру на 2 класса крупный/мелкий? Построить ROC-кривую для каждого метода визуализации и сравнить? А если один из методов вообще не видит очага, как это обозначать?

У вас должна быть какая-то задача, ради которой делается вся работа. Если нужно и ценно классифицировать очаги по размеру - классифицируйте!
Только есть еще такой нюанс: вам понадобится референтный метод, относительно которого считаются все ложноположительные и ложноотрицательные случаи классификации. То есть для каждого очага на тестовой выборке нужны априорные знания о том, какой он.

[nmrdoc]

У вас должна быть какая-то задача, ради которой делается вся работа. Если нужно и ценно классифицировать очаги по размеру - классифицируйте!
Только есть еще такой нюанс: вам понадобится референтный метод, относительно которого считаются все ложноположительные и ложноотрицательные случаи классификации. То есть для каждого очага на тестовой выборке нужны априорные знания о том, какой он.

И тогда классификатором будет 1 - соответствует, 0 - не соответствует референтному методу? Такой метод есть - это результаты трехфазного контрастного исследования, с ними все и сравнивается. На трехфазном исследовании допустим очаг 1 см, на жироподавлении - 0,5 см, а на МТС - 1 см. То для режима с жироподавлением мы классифицируем как 0, а для МТС - 1. Так ведь?

Сообщение отредактировал nmrdoc - 21.02.2016 - 14:52

[ogurtsov]

И тогда классификатором будет 1 - соответствует, 0 - не соответствует референтному методу? Такой метод есть - это результаты трехфазного контрастного исследования, с ними все и сравнивается.

Да, как-то так. Для размера придумаете какое-то пороговое значение, если это целесообразно, а для структуры (однородно/неоднородно) и типа границы (четкие/нечеткие) ничего и придумывать не нужно, сразу классифицируете по критериям "однородности" и "четкости", которые, очевидно, нужно будет подбирать для достижения оптимального качества классификации.

[nmrdoc]

Да, как-то так. Для размера придумаете какое-то пороговое значение, если это целесообразно, а для структуры (однородно/неоднородно) и типа границы (четкие/нечеткие) ничего и придумывать не нужно, сразу классифицируете по критериям "однородности" и "четкости", которые, очевидно, нужно будет подбирать для достижения оптимального качества классификации.

Спасибо!