Есть группа пациентов (73 больных) с узловыми образованиями ЩЖ, все прооперированы и имеют заключения гистологич. исследования о присутствии или отсутствии рака (золотой стандарт). Всем проведены дооперационные диагностические мероприятия (ТАБ, УЗИ, сцинтиграфия). Уже вычислены чувствительность, точность и специфичность каждого метода, а также чувствительность / специфичность при выявлении отдельных гистологических типов. Пожалуйста, помогите определиться с критериями сравнения эффективности этих методов. Допустим наши общие показатели по чувствительности, точности и специфичности составили: для УЗИ (86,4%, 80,8% 57,1%) , ТАБ (89,8 %, 89,0% и 85,7 %) и сцинтиграфии (93,2%, 86,3%, 57,1 %). Можно ли их сравнивать "тройками" или по-отдельности каждый из параметров? Мы сначала сравнивали Манном-Уитни, но потом нам сказали пересчитать все методом сравнения пропорций. И ище нужно сравнить эффективность данных методов отдельно для разных половозрастных групп. Пожалуйста, подскажите, как это лучше сделать? Заранее спасибо!

Можно сравнивать сами ROC .

пакет http://web.expasy.org/pROC/

roc.test

This function compares the AUC or partial AUC of two correlated (or paired) or uncorrelated (unpaired)
ROC curves. Several syntaxes are available: two object of class roc (which can be AUC or
smoothed ROC), or either three vectors (response, predictor1, predictor2) or a response vector and
a matrix or data.frame with two columns (predictors).

roc.test(roc1, roc2, method=c("delong", "bootstrap",
"venkatraman", "sensitivity", "specificity"), sensitivity = NULL,
specificity = NULL, alternative = c("two.sided", "less", "greater"),
paired=NULL, reuse.auc=TRUE, boot.n=2000, boot.stratified=TRUE,
ties.method="first", progress=getOption("pROCProgress")$name, ...)

Спасибо. как же с этим разобраться? А другого способа, через уровень значимости, никакого нет?

Можно пойти и другим путем, если вы не можете построить ROC и сравнить их. Вам советовали пересчитать все методом сравнения пропорций. Proportion переводится не только как пропорция, а как доля. Если у вас 73 больных разделены ?золотым стандартом?, то вы точно знаете сколько ?хороших? и сколько ?плохих?. Рассматривайте только чувствительность и специфичность без лишней информации об общей точности теста, в операционных характеристиках теста ее обычно не рассматривают. Вы должны оценить статистически разницу между числом больных с плохим диагнозом выявленных по золотому стандарту и по каждому тесту, т.е.нужно оценить разницу больных с плохим и с хорошим диагнозом, как долю относительно общего числа больных. Эту долю выражают в процентах, а для оценки разницы используют критерий Мак-Немара. Это критерий для связанных выборок, анализирующий диагональ четырехпольной таблицы. На этом форуме его подробно рассматривали. Если не понятно, выложите абсолютные числа на которых вы посчитали чувствительность и специфичность, и как разделилась общая группа по золотому стандарту.

это и есть тест, он возвращает
p.value --- the p-value of the test.

в него можно прямо подать response, predictor1, predictor2. То есть для каждого случая есть точный диагноз, и значения сравниваемых диагностических методов.


вот пример использования пакета для построения доверительных интервалов.
http://forum.disser.ru/index.php?showtopic...ost&p=12550

хотите давайте посмотрим на ROC которые насчитает пакет для Ваших данных.

спасибо огромное, что откликнулись, DrgLena и p2004г, появилась надежда )

Истинно положительные (ИП) - Ложно-положительные(ЛП) - Истинно отрицательные(ИО) - Ложно- отрицательны(ЛО)

УЗИ:
51 6 8 8

ТАБ
53 2 12 6

сцин:
55 6 8 4.

(гистология, зол. стандарт): злокачестенных (+) - 59, доброкач. (-) 14.

По УЗИ не диагностировано плохих по сравнению с золотым стандартом 8 больных (59-51), что составляет 11% от общего числа больных, 95% ДИ (3,8%-18,1%), эта разница статистически значима по критерию М-Н (CHI=6,13 р= 0.013).

По ТАБ разница по выявлению плохих составляет 6 больных, М-Н Chi2: =4.17 (p= 0.041), что составляет 8,2% (95% ДИ 1,9%-14,5%).

По сцин эта разница с золотым стандартом только 4 больных М-Н Chi2= 2.25 (p= 0.133), что составляет 5,5% (95% ДИ 0,3%-10,7%).

Т.о. по способности выявлять зло сцин не уступает по чувствительности золотому стандарту, остальные два уступают.

Однако, по специфичности сцин уступает золотому стандарту, как и узи, но ТАБ не уступает.

По критерию М-Н почитайте Реброву, формула очень простая, есть обсуждение на этом форуме, труднее посчитать ДИ к разнице долей.

Ух ты! Спасибо огромное! Теперь бы научиться все это делать самой . Немного знакома со Stat Plus, везде все по-разному ! А когда эти же методы по отношению к женщинам-мужчинам / молодым - старым сравнивать, принцип должен поменяться? И на Реброву ссылочку не дадите?

Принцип не поменяется, все можно посчитать руками, нужно только правильно составить таблицу 2х2, есть и калькуляторы в сети.
Реброва О.Ю. Статистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA
НАЙДЕТЕ В СЕТИ

Поймете принцип, сможете сделать и руками и в любой программе, можно и в R, для УЗИ:
> data<-array(c(51,8,0,14),dim=c(2,2))
> mcnemar.test(data)
McNemar's Chi-squared test with continuity correction
data: data
McNemar's chi-squared = 6.125, df = 1, p-value = 0.01333

Реброва О.Ю.
Статистический анализ медицинских данных

Спасибо всем большое, придется продолжить в выходные. К сожалению, в тех программах которые уже успела установить (NCSS Pass и АtteStat), никак не могу добиться таких же показателей хи-квадрат и p, как у вас. В АtteStat совпадают вычисленные показатели чувствительности и специфичности (отсюда догадываюсь, что таблицу 2x2 построила правильно), но все остальное выглядит странно (для ТАБ):
Критерий Мак-Немара
Асимптотика хи-квадрат
Статистика, P-значение (одностороннее), P-значение (двустороннее)
2 0.078649604 0.157299207
Асимптотика с поправкой Йэйтса
Статистика, P-значение (одностороннее), P-значение (двустороннее)
1.125 0.144422183 0.288844366
Точный условный
Статистика, P-значение (одностороннее), P-значение (двустороннее)
2 0.08984375 0.1796875
Значит, делаю что-то не то. А что такое R, какая-то программа?
DoctorStat, большое спасибо за Реброву, в воскресенье надеюсь продвинуться. Сказывается отсутствие базовых знаний по статистике .

Вы построили таблицу сопряженности 2х2, а нужно составить ее следующим образом, как я показала в R (свободная программа)
a=++
b=+-
c=-+
d=--
(51, 8, 0, 14) при такой записи интересует диагональ bc.

Простите, я не могу разобраться, откуда в скобках взялись 0 и 14? Подходящие разделы Ребровой внимательно прочитала - не нахожу похожих формул. программу R нашла, установила и даже такую же p для УЗИ (с вашим маленьким кодом, DrgLena) получила. Подскажите пожалуйста, как правильно начать в моем случае. Мне много чего надо еще пересчитывать! Надеюсь, что с вашей помощью сумею разобраться. Очень благодарна за ответы и терпение.

В помощи ?mcnemar.test вот такой пример данных

Да, Реброва формулу не приводит, но описывает, как таблицу составить (стр 181). Я в своих рассуждениях учитывала только тот факт, что 59-51=8 и это b, а нуль я поставила в ячейку с. Тогда и разнисть и сумма диагонали будет 8. Это было бы верно,если второй тест дал бы 51 положительных и 14 отрицательных ответов, и ни у кого из тех, у кого по золотому стандарту было добро не было зла. Т.е. не учитывала ложно отрицительных и ложно положительных во втором тесте. Любой пример руками легко считается, формула есть в инете,нужна только разность и сумма диагонали bc.

Chi2: 16.818 (p= 0.000)

И ище: мне надо сравнить эффективность выявления рака каждым из диагностических методов отдельно для женщин и мужчин / старше / младше 45 лет. Если чувствительность методов, например, мы сравниваем попарно с 'золотым стандартом', то как поступить в случае сравнения между такими подгруппами?

Вот и сравнивайте чувствительности относительно 51 (100%) как разности долей с соответствующими ДИ, для разности, как описывает Реброва на той же странице. А специфичности - аналогично, относительно 14 (100%) Сравнение ДИ , особенно графически даст картину различий. Все подгруппы будут сделаны из этого числа больных.

Спасибо, попробую. А для получения уровня значимости р для специфичности УЗИ, например, мне надо ввести: data<-array(c(8,6,0,0),dim=c(2,2))?

Нет, не верно. Сумма маргинальных частот должна быть 73. Я сама слишком много предложила и вам трудно сделать выбор. Можно сделать сравнение по М-Н, а можно сравнением долей посредством ДИ. Составляйте табл так как у Ребровой, при этом вы сможете сравнить разность относительных частот посредством ДИ, и по тем же таблицам посчитать критерий. Но Реброва дает М-Н так, как если бы данные у вас были в виде базы данных, когда результаты тестов представлены в виде бинарных переменных (1 ,0). При этом вы можете задавать любые условия создания выборок для анализа. Создавая таблицы вручную легко ошибиться.

Привет, Makovec!

А почему Вас пугает уровень значимости? Во-первых, если речь идёт о сравнении параметров диагностических методов, то тут не обойтись без ROC-кривых. Но это возможно конечно лишь для 2-х вариантов исхода диагностического тестирования. Во-вторых, в этом случае специфичность и чувствительность взаимосвязаны между собой, и отрывать один параметр от друга неверно. Вывод: нужно сравнивать ROC-кривые. Такие варианты сравнения есть. В них сравнивают площади под кривой. Чем ближе площадь к 1, тем лучше. И для этого сравнения вычисляется уровень значимости. Т.е. возможны варианты, когда между разными кривыми нет значимого различия. Правда здесь есть один нюанс. Нужно научиться "втискивать" в диагностический показатель целый набор признаков, качественных и количественных. А это достигается разными методами.