Оценка достоверности различий по чуствительности/специфичности Опции

[Элла]

Подскажите, пожалуйста! В своей работе я сравниваю диагностические показатели трех различных диагностических тестов в диагностике одного заболевания. Для каждого теста в различный временные интервалы от начала заболевания посчитаны чув-ть, спец-ть, диагностическая точность и др. Как можно посчитать достоверность различий в чувствительности (специфичности) этих трех тестов и можно ли вообще это сделать? Как вообще оценить достоверность различий сравниваемых тестов, если они все имеют качественное представление (то есть измерены качественно).

[anserovtv]

В случае идеальной полной (100%) предсказательной (диагностической) способности "качественного" теста площадь под кривой равна 1, асимптотическая значимость 0,004!!!
ROC -кривая может быть построена. ROC-кривую можно построить и вручную (по формулам).
В данном случае кривая является ломаной с двумя звеньями (на чертеже выделена синим цветом). См. прикрепленные файлы.

Сообщение отредактировал anserovtv - 5.12.2013 - 16:18

Прикрепленные файлы

 ROC3.bmp ( 929,3 килобайт ) Кол-во скачиваний: 805
 ROC4.bmp ( 87,07 килобайт ) Кол-во скачиваний: 836

 

[Элла]

А Вы можете показать мне на примере моих данных, как построить кривую? Что для этого нужно? выборка у меня состоит из 100 человек, у каждого из них я оценивала показатели качественного теста "болен/здоров" в 3 различных временных интревалах от начала заболевания. и в каждый из этих интервалов должен быть проведен рок-анализ, потому как диагностическая ценнность теста меняется в зависимости от времени.

[anserovtv]

[А Вы можете показать мне на примере моих данных, как построить кривую?']

Все вычисления выполнены. Все результаты - хорошие. Все значимости на уровне 0,000.
Удалось выполнить и попарные сравнения качественных тестов, всех других тестов.
Удалось проанализировать и интерпретировать соотношения ДИ площадей.
Ваши данные могут быть проанализированы и еще более содержательно.
Вам полезно научиться строить ROC-кривые и вручную, я - умею (и для вероятностей и для результатов измерений).

Сообщение отредактировал anserovtv - 14.11.2013 - 16:08

[DrgLena]

Ох, покоя мне нет.

И мне тоже. Хотела пропустить обсуждение этой ветки, поскольку в самом начале pfrovoz и nokh дали вам правильный, на мой взгляд, совет сравнить тесты по чувствительности и специфичности.

Мой тест - качественный, а отсальные (с которыми сравнивала) - количественные. Для количественных строили РОК-кривые, а для качественного теста такого невозможно как я понимаю сделать. На графиках ему соответствует только 1 точка (разделения чув-ти и спец-ти), и косвенно можно судить лишь по области , которую можно достроить.

Совершенно верно. Качественные тесты также имеют чувствительность и специфичность , а также могут характеризоваться показателем, который включает в себя и чувствительность и специфичность (отношение правдоподобия для положительного теста).
Построение ROC кривых для такого рода тестов не имеет никакого смысла. Никакой новой информации, кроме перечисленных выше операционных характеристик эти кривые не дадут. Идея ROC кривых состоит в том, что можно выбирать точки разделения таким образом, чтобы находить компромисс между чувствительностью и специфичность в зависимости от приоритетов диагностики. Поэтому можно сочетать несколько тестов для достижения большей диагностической способности.
Если построить ROC кривую для бинарного признака, как это продемонстрировал anserovtv, то она не будет в каждой своей точке отражать чувствительность и специфичность. Очевидно, в ваших данных было цифровое кодирование значения теста, типа 0 и 1 и программа SPSS просто была введена в заблуждение . Если использовать символьные кодировки типа ?кашель имеется? и ?кашель отсутствует? или a и b, то умная программа напишет, что insufficient data for ROC или string variables are not allowed in the list.

Все вычисления выполнены. Все результаты - хорошие. Все значимости на уровне 0,000.

Все значимости на уровне нуля. Нельзя не согласиться.

Вам полезно научиться строить ROC-кривые и вручную, я - умею (и для вероятностей и для результатов измерений).

Можно, конечно, руками посчитать и чувствительность и специфичность при каждом значении количественной переменной, только вряд ли это полезно. Можно забыть зачем мы ее строим

[Элла]

Спасибо за ответ! Правда меня такие разные мнения дезориентируют слегка:) Про рок-кривые Вы дали такое объяснение, которое мне было до этого близко и понятно. Но, не вполне владея статистикой, я не могла это объяснить как Вы. Абсолютно согласна в том, что РОК-анализ наиболее информативен для количественных показателей, и, что самое главное, он дает много полезной информации в практическом отношении (выбор порога, при котором наиболее оптимально пересекутс чув-ть и спец-ть). НО такова моя работа, что мне надо как-то сравнить качественный тест с количественными!
Да, в моих данных результаты теста представлены как 0 или 1 (то есть да/нет). По идее если можно построить рок-кривую (или прямую), то можно посчитать и площадь под ней. И таким образом, сравнить разные тесты. Но вопрос этот для меня остается открытым.