Значимость различий в чувствительности и специфичности Опции

[nokh]

Для качественного признака чувствительность (Ч) и специфичность (С) трех методов диагностики расчитаны на одной группе пациентов. Поскольку выборки связанные - различия в Ч методов сравнивал попарно в тесте Макнимара. Получилось логично: тесты со сходной Ч не различались значимо, а с разной различались. Хотел также рассчитать различия в С: она во всех тестах близка к 100% и не должна была значимо различаться. Поменял в таблицах местами + на - и получил те же результаты что и для Ч. Это также логично, т.к. в тесте Макнимара ++ и - - не учитываются в расчетах, но непонятно как это согласуется с примерно равной С методов? Если тест Макнимара проверяет одновременно различия и в Ч и в С, то почему его результаты трактуют как различия в Ч? : http://www.stat.psu.edu/~jglenn/stat509/17...nos_compare.htm
Как доказать отсутствие различий в С? Пожалуйста помогите, запутался!

[nokh]

За сутки сам немного продвинулся. Пока пришел к выводу, что для связанных выборок, в отличие от независимых, провести статистические сравнения в терминах чувствительности и специфичности просто невозможно. Результаты теста Макнимара ближе к коэффициенту каппа и никак не связаны с различиями в чувствительности, поэтому в ресурсе по ссылке выражение "McNemar's test for comparing sensitivities" - некорректно или ошибочно.

[DrgLena]

Если у вас несколько тестов, то вы можете рассчитать их чувствительность и специфичность, если есть точные данные ? больной ? здоровый, например по золотому стандарту диагностики. В той ссылке, которую вы приводите два теста с чувствительностью 0,82 и 0,70. Из тех же таблиц рассчитываете специфичность: 70/100=0,70 и 90/100=0,90. Посчитайте доверительные интервалы к ним, общая формула: a/n?z√((a(n-a))/n^3 ). В SAS не знаю как, наверне в синтаксис поставить вместо чувствительности и положительного теста - специфичность и отрицательный тест.
specificity_diag1
negative test
Обратите внимание, что при сравнении двух тестов (в вашей ссылке) третья таблица составлена только для больных (100 больных, без здоровых). Критерий Мак-Немара анализирует несовпадения у больных. Т.е. 140-82=58 ? не совпадений и 42 ? совпадений по двум тестам. Поэтому и оценивается только чувствительность.
Так что "McNemar's test for comparing sensitivities" - вполне корректно.

[nokh]

То, что сравнивать надо Макнимаром - дошел сам, а эта ссылка - просто первое вразумительное, что нашлось по совместному запросу McNemar и sensitivities в гугле (на SAS решил силы не тратить, направить на R). Короче, что искал - то и нашел . Здесь остаюсь при своем мнении - Макнимар действительно сравнивает несовпадения результатов двух тестов, но при этом совершенно неважно как эти результаты соотносятся с "золотым стандартом". Оба теста могут иметь равную чувствительность, но по каким-то причинам давать либо согласованные оценки либо нет. А про доверительные интервалы не подумал, большое спасибо!

[DrgLena]

Я про золотой стандарт напомнила только потому, что для расчета чувствительности и специфичности нужно точно знать кто больной, а кто здоровый.
Формула для ДИ без вопроса: a/n?z√((a(n-a))/n^3 )

[DrgLena]

? - это + - (плюс минус)

[logvin]

? - это + - (плюс минус)

К сожалению, некоторые символы форум отображает как знаки вопроса (?), что создает неудобство при общении. Пожалуйста, перечислите мне на logvin@yandex.ru какие символы некорректно отображаются. Думаю, что необходима оптимизация БД MySQL и php-файлов форума для устранения проблемы.

[плав]

Поскольку для расчета чувствительности и специфичности используются две разные группы (больные - для чувствительности) и здоровые (для специфичности), то тест МакНеймара или любые другие аналогичные тесты согласованности не подходят. В принципе, как указывает DrgLena можно рассчитать 95% доверительные интервалы для того и другого показателей (однако надо учитывать, что в ряде случаев - если они близки к 1 обычные формулы нормальной аппроксимации использовать нельзя, надо использовать формулы для распределения Пуассона - они итеративные). Однако лучше всего для оценки диагностического теста использовать не точечные показатели чувствительности и специфичности, а площадь под характеристической кривой с соответствующим размером стандартной ошибки и доверительным интервалом

[nokh]

Спасибо за советы! Для альтернативного признака построить ROC-кривую не выйдет, а для количественных - так и делал (Программа ROCKIT (бесплатная) выдает точки для построения эмпирической кривой и бинормальной с 95%-ными ДИ, площади под ними с ошибками, учитывает связанный характер выборок при расчетах, выдает данные по которым можно интерполировать пороговое значение предиктора для максимальных значений чувствительности и специфичности. Графического интерфейса нет, но программу рекомендую). В моей задаче нужно было сравнить точность диагностики по количественному предиктору (онкомаркер) и дихотомическому (цитология), поэтому колич. признак пришлось классифицировать по принятому пороговому значению (кстати было близко к рассчетному по ROC-кривой).

>плав. Не могли бы вы подсказать программу (кроме SAS) для итерационного расчета ДИ или для их бутстрэп-оценки: оно будет очень кстати т.к. выборки небольшие.

[DrgLena]

Формула для расчета ДИ, которую я привела взята из приложеник к книге под редакцией Гордона Гайятта и он дает ссылку на документацию
к SAS http://v8doc.sas.com/sashtml/
Там же написано, что она как раз для оценки чувствительности и специфичности и прогностической ценности тостов используется. Для ДИ к OR или к RR приводятся другие формулы. Вопрос к Плав - это правильная формула, т.е она для итеративного расчета ДИ.

[плав]

Формула про которую я упоминал приведена вот тут http://www.itl.nist.gov/div898/handbook/pr...ion2/prc241.htm вместе с алгоритмом расчета в Excel (где-то с средины страницы). Формулы приводившиеся выше не совсем то, о чем писал я - тут надо итеративным методом решить уравнение (мы на курсах одно время заставляли курсантов это делать на графических калькуляторах когда проходили метод максимального правдоподобия - но к несчастью у нас в стране компьютеры распространены шире, чем научные калькуляторы...).
Честно говоря, у меня просто есть затабулированные точные доверительные интервалы из Geiga Scientific Tables - значительно быстрее находить нужные величины, чем включать компьютер
Что касается bootstrap (если SAS не нравится) - очень неплохо этот метод реализован в Stata (практически любая команда можект быть сконфигурирована для бутстрапа).

[DrgLena]

В ссылке приведенной nokh (пример из учебника по SAS), доверительные интервалы посчитаны именно по приведенной мной формуле, они совпали с расчитанными программой
Для второго теста их их примера:

L=(140/200)-1,96*sqrt((140*(200-140))/200^3 )=0,636
U=(140/200)+1,96*sqrt((140*(200-140))/200^3 )=0,764
Я ввела эти формулы в Statistica, можно в Exel.
Хорошо, все же, что есть компьютеры, интернет и Плав!

[плав]

В приведенной nokh ссылке SAS рассчитывает "точный биномиальный коэффициент". Для ситуации, когда чувствительность близка к 1 (или нулю) биномиальное распределение не очень хорошо, нужно использовать распределение Пуассона (т.е. если более 90% чувствительность) В этом случае и точный тест в SAS (биномиальный) будет не вполне адекватным и надо использовать подход описанный в приведенной мною раньше ссылке. Поскольку в примере чувствительность 70%, то точный биномиальный будет работать хорошо (точно). на самом деле при 200 наблюдениях и аппроксимированный биномиальный (когда ошибка равна корень(р*(1-р)/n)) тоже будет работать хорошо. А вот когда 20 наблюдений...
Что касается примера в ссылке nokh на метод МакНеймара - там не ошибка, а другая задача - сравниваются чувствительности двух методов. По золотому стандарту отобрали 100 больных пациентов. Провели им два диагностических теста и разбили (больных) на группы - оба теста положительны, оба теста отрицательны, один положителен, другой нет (две разные группы). И вот тут МакНеймар абсолютно обоснован. Единственно, что в таблице там опечатка - не больные и Не больные, а тест положителен, отрицателен.

[nokh]

Большое спасибо! Теперь все встало на свои места и понятно, почему в приведенной мной ссылке слово "diseased" было выделено курсивом. Подведу черту.

Сравнение чувствительности (Ч) и специфичности (С) методов, результаты которых выражаются альтернативой по типу "болен-здоров", можно проводить опосредованно - через расчет и сопоставление доверительных интервалов для выборочных оценок Ч и С и напрямую - путем анализа таблиц частот. В последнем случае важно зависимы выборки (т.е. получены они на одних и тех же объектах - пациентах, пробах) или независимы (получены на разных объектах). Для зависимых выборок используется McNemar's test (критерий Макнимара, МакНемара, МакНеймара - нет устоявшейся транслитерации). При этом для оценки различий в Ч используются только отобранные по "золотому стандарту" положительные результаты (больные), а для оценки различий в С - только отрицательные (здоровые). Для независимых выборок используется анализ таблиц сопряженности (G-критерий = критерий G-квадрат = отношение максимального правдоподобия = информационный критерий Кульбака = критерий Вульфа, точный метод Фишера, критерий Хи-квадрат). При расчете доверительных интервалов рекомендуется использовать точную формулу, особенно для малых выборок и/или при значениях Ч и С близких к 0 или 100%: http://www.itl.nist.gov/div898/handbook/pr...ion2/prc241.htm (по ночам ссылка не работает). При анализе слабонасыщенных таблиц частот (если в McNemar's test (b+c)/2<4, а в таблицах сопряженности есть минимальные ожидаемые менее 4-5) используются точные оценки Р, расчитанные в программах, имеющих такую возможность (SAS, StatXact, пакет coin для среды R).