Уважаемые коллеги! У нас на форуме когда то обсуждался метод последовательной диагностической процедуры по методу Вальда, во многих работах есть расчет диагностических коэффициентов (ДК) и информационной меры Кульбака (J). Есть и расчет порогов для принятия решения. При альфа=0,05 и бета=0,05, например, порог для Кульбака =10*log(альфа/(1-вета)) и 10*log((1-альфа)/бета), т.е. +/- 12,8. При достижении этих порогов, как было где то сказано, достигается вероятность безошибочной диагностики 0,95. Можно ли снижать пороги для менее важного состояния и повышать для более фатального.
Как связаны альфа и бета с вероятность безошибочной диагностики. Например, если оставить альфа=0,05 и изменить бета=0,2, при этом мы сдвигаем порог принятия решения до +/-12,0, как это будет связано с вероятность безошибочной диагностики Р=?.

Я подумал и что-то совсем просто получилось. При проведении испытания (и по последовательной технике в частности) мы можем совершить только 2 типа ошибок: обнаружить чего нет (регулируется уровнем альфа) и пропустить что есть (регулируется бета).
Тогда вероятность Р безошибочного решения составит (1-альфа)(1-бета). Т.е. в первом случае Р=0,9025, а во втором Р=0,76. А в формуле, думаю, правильнее использовать не десятичный, а натуральный логарифм.

Спасибо, до меня с трудом, дошло. Если альфа будет 0.01 и бета 0.01, то при порогах +-20,0 достигается вероятность 0,98. Логарифм, в тех работах , которые у меня есть, берут десятичный. Но в большинстве работ пороги так не задают, а находят по оценке эксперта и они ниже расчетных.

Если мы говорим об одном и том же, то никак. Дистанция Кульбака это просто один из диагностических индексов, альфа - 1-Sp, бета - 1-Se. (формула, правда, немного другая):
для опровержения диагноза dgf=(1-@1Specificity)*LN(1/lrn)+@1Specificity*LN(1/lrp).
для подтверждения диагноза dfg=(1-Sensitivity)*LN(lrn)+Sensitivity*LN(lrp)
при этом
lrp=Sensitivity/@1Specificity.
lrn=(1-Sensitivity)/(1-@1Specificity).
(http://www.spsstools.ru/f.php?f=539)
Так что никакой "безошибочной" диагностики нет. Сама дистанция была разработана для сравнения теоретического и экспериментального распределений (так что использование в случае диагностики, как в моем примере выше не вполне адекватно). Соответственно, методика родственна дистанции Хи2, дистанции Колмогорова-Смирнова и т.п. Более родственной метрикой является дистанция Хеллингера. Подробнее можно почтитать тут http://en.wikipedia.org/wiki/Kullback-Leibler_divergence

Я сама себя не очень поняла. Сейчас, я нашла первоисточник Гублера, у него в приложении есть таблица величин пороговых сумм для диагностических коэффициентов (ДК) при разном допустимом проценте ошибок альфа и бета. И они считаются по тем формулам, которые я привела. При этом если альфа=0,05, а бета 0,20 , то порог будет +7(для более опасного состояния) и -12 для альтернативы. Но я почему то решила, что для разделения можно использовать не ДК, а именно значение суммы J (Кульбака), поставив знак, соответствующий ДК, но порги для Кульбака нигде не обсуждаются.

Ну я бы не стал считать Гублера первоисточником... Вообще, как я уже ранее писал, все эти меры скажем так, странные. Что такое этот показатель - отношение (не будем говорить про логарифмы - это всего лишь преобразование) ложноположительных и ложноотрицательных результатов. И что? Почему не использовать отношение правдоподобия? (или его логарифм)? Никакие математические преобразования не добавляют информацию к исходным данным чувствительности и специфичности, как Вы не пытайтесь их прологарифмировать или поделить. Соответственно, если нельзя на основе Se и Sp поставить диагноз, то и все ДК и суммы Джеффриса не помогут. Без априорной вероятности эти меры не работают. Более того. Забывается, что речь идет о выборочных оценках. Соответственно, Se и Sp определяется с ошибкой, которая никак не описывается в этих формулах. Почему используется такой индекс а не другой? Очень просто, если бы все использовали один индекс (например LR), как тогда писать книги? Все же поймут, что это - одно и то же. А так, берем Se и Sp, считаем вместо LR другой показатель, называем его патами, подставляем после преобразований (которые возвращают к LR, но про это не говорится) в формулу теоремы Байеса, делаем красивую табличку и кажется, что диагностика возможна. Только вот не указывается в таблички, как получить исходные значения априорной вероятности...
А пороги для Кульбака не обсуждаются потому, что сам показатель был сделан для других целей, а то, что затем придумывают - как я уже говорил, теорема Байеса, вид сбоку.

Известно, что ДК имеют знак и понятно, что их суммируют и используют пороги для принятия решения. Диагностические таблицы с ДК очень понятны. А как использовать LR для многих признаков? Добавляя каждый признак пересчитывать вероятность? Как представить результат, чтобы им можно было пользоваться.

Все описанное ниже базируется на предположении о том, что признаки незвисимы (самое опасное предположение)
Итак обозначим р - вероятность наличия заболевания (априорная, до данного теста), PV - вероятность наличия заболевания (постестовая)
По теореме Байеса в случе положительного результата теста PV=p*Se/(p*Se+(1-p)*(1-Sp)) или 1/(1+(1-p)/p*(1-Sp)/Se). Очевидно, что р/(1-р) - априорные шансы наличия заболевания (O), Se/(1-Sp) - отношение правдоподобия (LR+).
Оценим постфактовые шансы отсутствия заболевания (1-PV)/PV=1+1/O*1/LR+-1=1/O*1/LR+. Тогда шансы наличия заболевания O*LR+=O'.
Теперь, поскольку при последующем тестировании постфактовая вероятность становится априорной, наличие заболевания после второго теста равно O'*LR2 или O*LR+*LR2+. Поскольку с произведениями работать сложно, возьмем логарифм, тогда
Шансы наличия заболевания = ln(O)+SUM(LR+i)
В том случае, если тест дает отрицательный результат шансы наличия заболевания 1 + p/(1-p)(1-Se)/Sp - 1=O*LR- Далее все те же рассуждения
Соотвтственно, логарифм шансов наличия заболевания после нескольких тестов равен сумме логарифма апрорной вероятнсти наличия заболевания и логарифмов LR соответственно для положительного или отрицательного результата теста.
Шансы затем трансформируются в вероятности соотношением 1/(1+1/О)

Спасибо большое, технология понятна. Остается вопрос, можно ли эти рассуждения применить к дифференциации между двумя болезнями, например опухоль и воспаление. А в качестве априорной вероятности взять госпитальную частоту опухоли относительно воспаления. Например в выборке 70% опухоли и 30% воспаление. Или в группе опухоли дифференциировать злокачественные и доброкачественные. И еще вопрос, где про это можно почитать.

На самом деле изложеный выше подход - различение любых двух состояний, не только здоровье и болезнь, т.е. дифференцияция опухоль и воспаление точно так же, естественно если тесты проверяли Se и Sp для опухоли и воспаления соответственно.
Насчет прочитать - краткое изложение теории диагностики с LR можно найти у Sackett и соавт., Evidence-Based Medicine или у Власова "Эффективность диагнотических исследований". Подробно возможность суммирования LLR шкалы на их основе были описаны в докторской диссертации С.И.Плавинской "Факторы риска и их сочетания в прогнозе ИБС мужчин и женщин в популяции крупного промышленного города" (1993), уверен, что были и другие публикации, но это то, что у меня находится в голове.

Спасибо большое!
Именно последнюю работу я не нашла, только уточнение названия "Роль факторов.....Но нашла много зарубежных работ, где хорошо описан результат применения этого метода. В пришпиленной работе авторы используют известную программы, но я не нашла, где именно в ней можно посчитать LR, поэтому много ручной работы, легко ошибиться составляя таблицы для расчета.

Применительно к таблицам сопряженности в качестве likelihood ratio используется log-likelihood ratio, имеющее распределение хи-квадрат и поэтому иногда именуемое хи-квадрат максимального правдоподобия. Поэтому в известной программе LR это X²_ML или M-L Chi-square (кстати, это также G-критерий Вулфа (Woolf's G-test), G²-критерий и информационный критерий Кульбака 2I). Правда мне пока совсем непонятно как комбинируются LR, полученные по отдельным табличкам 2х2, но это можно поискать. И еще непонятно, что авторы приложенной статьи понимают по преваленсом если у них он составлял 55-60%?

Да, вы правы относительно таблиц сопряженности, там есть критерий LRхи кв., и в AtteStat и в SPSS он реализован. Но есть отношение правдоподобия в диагностических таблицах 2х2 , где это отношение вероятности иметь положительный тест у больных к вероятности иметь положительное значение теста у здоровых, т.е. TP/FP или в терминологии чувствительности и специфичности, см. ссылку на калькулятор. http://www.ebem.org/likelihood.html

У них два состояния, одно встречается немного чаще, это будет, на сколько я понимаю, претестовая вероятность. А дальше, добавляя LR для одного из соcтояний вероятность будет увеличиваться, а для другого, альтернативного состояния, снижаться.

LR проверки гипотезы и LR теоремы Байеса разные LR. Авторы статьи просто не акцентируют на этом внимание, но они считали его не в "известной программе". Это просто разные показатели, имеющие одинаковую первую часть названия (в случае статистического тестирования "отношение правдоподобия полученных данных теоретическому распределению", во втором - "отношение правдоподобия наличия заболевания в случае положительного результата теста"). Поэтому есть два LR в теореме Байеса и только одно для соответствующей четырехпольной таблицы.
Проблема использования подхода теоремы Байеса - выборочный характер оценки Se и Sp и возможная корреляция между разными тестами. Строго говоря, используя допущение большой выборки проблему оценки дисперсии суммы логарифмов LR можно решить. Для LLR+ она будет равна (1-Se)/Se/n1 + Sp/(1-Sp)/n2, где n1 и n2 - численность здоровых и больных, соответственно.
Для суммы LLR надо будет просуммировать все дисперсии и для получения стандартного отклонения - извлечь корень.
Однако это все не решает проблемы коррелированности результатов теста. Поэтому-то методы, основанные на суммировании результатов тестов и вышли из моды (цитируемая статья написана авторами из Аргентины).
В настоящий момент оптимальным решением поставленной задачи было бы построение модели с помощью логистической регрессии, а затем определение Se и Sp на основе анализа характеристической кривой суммарной модели. Это не всегда используется ввиду того, что результаты логистической регрессии не очень удобно использовать в клинической практике (регрессионное уравнение), поэтому альтернативой является построение шкалы риска на основе логистической регрессии или регрессии Пуассона (собственно, в упоминавшейся мною работе 1993 года и было продемонстрировано, как это делается).

Полностью согласна, давно использую именно этот метода анализа. Но обсуждаемый подход, в чисто познавательном плане интересен тем, что позволяет использовать данные из различных источников. Например отдельно оценить клинические признаки накопленные в архивных базах данных, а затем соединить с новыми данными иммунологии, биохимии, КТ, МРТ, сделанные при тех же состояниях на других больных.
Жаль, что мне не доступна работа Плавинской, как и впрочем и вообще С-Петербург.

Никогда про такой не слышал, спасибо за пояснение.