Сравнение параметров диагностических методов Опции

[Makovec]

Есть группа пациентов (73 больных) с узловыми образованиями ЩЖ, все прооперированы и имеют заключения гистологич. исследования о присутствии или отсутствии рака (золотой стандарт). Всем проведены дооперационные диагностические мероприятия (ТАБ, УЗИ, сцинтиграфия). Уже вычислены чувствительность, точность и специфичность каждого метода, а также чувствительность / специфичность при выявлении отдельных гистологических типов. Пожалуйста, помогите определиться с критериями сравнения эффективности этих методов. Допустим наши общие показатели по чувствительности, точности и специфичности составили: для УЗИ (86,4%, 80,8% 57,1%) , ТАБ (89,8 %, 89,0% и 85,7 %) и сцинтиграфии (93,2%, 86,3%, 57,1 %). Можно ли их сравнивать "тройками" или по-отдельности каждый из параметров? Мы сначала сравнивали Манном-Уитни, но потом нам сказали пересчитать все методом сравнения пропорций. И ище нужно сравнить эффективность данных методов отдельно для разных половозрастных групп. Пожалуйста, подскажите, как это лучше сделать? Заранее спасибо!

[p2004r]

Есть группа пациентов (73 больных) с узловыми образованиями ЩЖ, все прооперированы и имеют заключения гистологич. исследования о присутствии или отсутствии рака (золотой стандарт). Всем проведены дооперационные диагностические мероприятия (ТАБ, УЗИ, сцинтиграфия). Уже вычислены чувствительность, точность и специфичность каждого метода, а также чувствительность / специфичность при выявлении отдельных гистологических типов. Пожалуйста, помогите определиться с критериями сравнения эффективности этих методов. Допустим наши общие показатели по чувствительности, точности и специфичности составили: для УЗИ (86,4%, 80,8% 57,1%) , ТАБ (89,8 %, 89,0% и 85,7 %) и сцинтиграфии (93,2%, 86,3%, 57,1 %). Можно ли их сравнивать "тройками" или по-отдельности каждый из параметров? Мы сначала сравнивали Манном-Уитни, но потом нам сказали пересчитать все методом сравнения пропорций. И ище нужно сравнить эффективность данных методов отдельно для разных половозрастных групп. Пожалуйста, подскажите, как это лучше сделать? Заранее спасибо!

Можно сравнивать сами ROC .

пакет http://web.expasy.org/pROC/

roc.test

This function compares the AUC or partial AUC of two correlated (or paired) or uncorrelated (unpaired)
ROC curves. Several syntaxes are available: two object of class roc (which can be AUC or
smoothed ROC), or either three vectors (response, predictor1, predictor2) or a response vector and
a matrix or data.frame with two columns (predictors).

roc.test(roc1, roc2, method=c("delong", "bootstrap",
"venkatraman", "sensitivity", "specificity"), sensitivity = NULL,
specificity = NULL, alternative = c("two.sided", "less", "greater"),
paired=NULL, reuse.auc=TRUE, boot.n=2000, boot.stratified=TRUE,
ties.method="first", progress=getOption("pROCProgress")$name, ...)

[Makovec]

Спасибо. как же с этим разобраться? А другого способа, через уровень значимости, никакого нет?

[DrgLena]

Можно пойти и другим путем, если вы не можете построить ROC и сравнить их. Вам советовали пересчитать все методом сравнения пропорций. Proportion переводится не только как пропорция, а как доля. Если у вас 73 больных разделены ?золотым стандартом?, то вы точно знаете сколько ?хороших? и сколько ?плохих?. Рассматривайте только чувствительность и специфичность без лишней информации об общей точности теста, в операционных характеристиках теста ее обычно не рассматривают. Вы должны оценить статистически разницу между числом больных с плохим диагнозом выявленных по золотому стандарту и по каждому тесту, т.е.нужно оценить разницу больных с плохим и с хорошим диагнозом, как долю относительно общего числа больных. Эту долю выражают в процентах, а для оценки разницы используют критерий Мак-Немара. Это критерий для связанных выборок, анализирующий диагональ четырехпольной таблицы. На этом форуме его подробно рассматривали. Если не понятно, выложите абсолютные числа на которых вы посчитали чувствительность и специфичность, и как разделилась общая группа по золотому стандарту.

[p2004r]

Спасибо. как же с этим разобраться? А другого способа, через уровень значимости, никакого нет?

это и есть тест, он возвращает
p.value --- the p-value of the test.

в него можно прямо подать response, predictor1, predictor2. То есть для каждого случая есть точный диагноз, и значения сравниваемых диагностических методов.


вот пример использования пакета для построения доверительных интервалов.
http://forum.disser.ru/index.php?showtopic...ost&p=12550

хотите давайте посмотрим на ROC которые насчитает пакет для Ваших данных.

[Makovec]

спасибо огромное, что откликнулись, DrgLena и p2004г, появилась надежда )

Истинно положительные (ИП) - Ложно-положительные(ЛП) - Истинно отрицательные(ИО) - Ложно- отрицательны(ЛО)

УЗИ:
51 6 8 8

ТАБ
53 2 12 6

сцин:
55 6 8 4.

[Makovec]

(гистология, зол. стандарт): злокачестенных (+) - 59, доброкач. (-) 14.

[DrgLena]

По УЗИ не диагностировано плохих по сравнению с золотым стандартом 8 больных (59-51), что составляет 11% от общего числа больных, 95% ДИ (3,8%-18,1%), эта разница статистически значима по критерию М-Н (CHI=6,13 р= 0.013).

По ТАБ разница по выявлению плохих составляет 6 больных, М-Н Chi2: =4.17 (p= 0.041), что составляет 8,2% (95% ДИ 1,9%-14,5%).

По сцин эта разница с золотым стандартом только 4 больных М-Н Chi2= 2.25 (p= 0.133), что составляет 5,5% (95% ДИ 0,3%-10,7%).

Т.о. по способности выявлять зло сцин не уступает по чувствительности золотому стандарту, остальные два уступают.

Однако, по специфичности сцин уступает золотому стандарту, как и узи, но ТАБ не уступает.

По критерию М-Н почитайте Реброву, формула очень простая, есть обсуждение на этом форуме, труднее посчитать ДИ к разнице долей.

[Makovec]

Ух ты! Спасибо огромное! Теперь бы научиться все это делать самой . Немного знакома со Stat Plus, везде все по-разному ! А когда эти же методы по отношению к женщинам-мужчинам / молодым - старым сравнивать, принцип должен поменяться? И на Реброву ссылочку не дадите?

[DrgLena]

Принцип не поменяется, все можно посчитать руками, нужно только правильно составить таблицу 2х2, есть и калькуляторы в сети.
Реброва О.Ю. Статистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA
НАЙДЕТЕ В СЕТИ

Сообщение отредактировал DrgLena - 8.02.2012 - 01:25

[DrgLena]

Поймете принцип, сможете сделать и руками и в любой программе, можно и в R, для УЗИ:
> data<-array(c(51,8,0,14),dim=c(2,2))
> mcnemar.test(data)
McNemar's Chi-squared test with continuity correction
data: data
McNemar's chi-squared = 6.125, df = 1, p-value = 0.01333

[DoctorStat]

на Реброву ссылочку не дадите?

Реброва О.Ю.
Статистический анализ медицинских данных

[Makovec]

Спасибо всем большое, придется продолжить в выходные. К сожалению, в тех программах которые уже успела установить (NCSS Pass и АtteStat), никак не могу добиться таких же показателей хи-квадрат и p, как у вас. В АtteStat совпадают вычисленные показатели чувствительности и специфичности (отсюда догадываюсь, что таблицу 2x2 построила правильно), но все остальное выглядит странно (для ТАБ):
Критерий Мак-Немара
Асимптотика хи-квадрат
Статистика, P-значение (одностороннее), P-значение (двустороннее)
2 0.078649604 0.157299207
Асимптотика с поправкой Йэйтса
Статистика, P-значение (одностороннее), P-значение (двустороннее)
1.125 0.144422183 0.288844366
Точный условный
Статистика, P-значение (одностороннее), P-значение (двустороннее)
2 0.08984375 0.1796875
Значит, делаю что-то не то. А что такое R, какая-то программа?
DoctorStat, большое спасибо за Реброву, в воскресенье надеюсь продвинуться. Сказывается отсутствие базовых знаний по статистике .

[DrgLena]

В АtteStat совпадают вычисленные показатели чувствительности и специфичности (отсюда догадываюсь, что таблицу 2x2 построила правильно),

Вы построили таблицу сопряженности 2х2, а нужно составить ее следующим образом, как я показала в R (свободная программа)
a=++
b=+-
c=-+
d=--
(51, 8, 0, 14) при такой записи интересует диагональ bc.

[Makovec]

Простите, я не могу разобраться, откуда в скобках взялись 0 и 14? Подходящие разделы Ребровой внимательно прочитала - не нахожу похожих формул. программу R нашла, установила и даже такую же p для УЗИ (с вашим маленьким кодом, DrgLena) получила. Подскажите пожалуйста, как правильно начать в моем случае. Мне много чего надо еще пересчитывать! Надеюсь, что с вашей помощью сумею разобраться. Очень благодарна за ответы и терпение.