Вновь про информацию, последовательный анализ Вальда |
Здравствуйте, гость ( Вход | Регистрация )
Вновь про информацию, последовательный анализ Вальда |
31.01.2009 - 14:54
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Уважаемые коллеги! У нас на форуме когда то обсуждался метод последовательной диагностической процедуры по методу Вальда, во многих работах есть расчет диагностических коэффициентов (ДК) и информационной меры Кульбака (J). Есть и расчет порогов для принятия решения. При альфа=0,05 и бета=0,05, например, порог для Кульбака =10*log(альфа/(1-вета)) и 10*log((1-альфа)/бета), т.е. +/- 12,8. При достижении этих порогов, как было где то сказано, достигается вероятность безошибочной диагностики 0,95. Можно ли снижать пороги для менее важного состояния и повышать для более фатального.
Как связаны альфа и бета с вероятность безошибочной диагностики. Например, если оставить альфа=0,05 и изменить бета=0,2, при этом мы сдвигаем порог принятия решения до +/-12,0, как это будет связано с вероятность безошибочной диагностики Р=?. |
|
3.02.2009 - 16:58
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Я подумал и что-то совсем просто получилось. При проведении испытания (и по последовательной технике в частности) мы можем совершить только 2 типа ошибок: обнаружить чего нет (регулируется уровнем альфа) и пропустить что есть (регулируется бета).
Тогда вероятность Р безошибочного решения составит (1-альфа)(1-бета). Т.е. в первом случае Р=0,9025, а во втором Р=0,76. А в формуле, думаю, правильнее использовать не десятичный, а натуральный логарифм. Сообщение отредактировал nokh - 3.02.2009 - 16:59 |
|
3.02.2009 - 23:44
Сообщение
#3
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Спасибо, до меня с трудом, дошло. Если альфа будет 0.01 и бета 0.01, то при порогах +-20,0 достигается вероятность 0,98. Логарифм, в тех работах , которые у меня есть, берут десятичный. Но в большинстве работ пороги так не задают, а находят по оценке эксперта и они ниже расчетных.
|
|
5.02.2009 - 20:26
Сообщение
#4
|
|
Группа: Пользователи Сообщений: 1013 Регистрация: 4.10.2006 Пользователь №: 1933 |
Уважаемые коллеги! У нас на форуме когда то обсуждался метод последовательной диагностической процедуры по методу Вальда, во многих работах есть расчет диагностических коэффициентов (ДК) и информационной меры Кульбака (J). Есть и расчет порогов для принятия решения. При альфа=0,05 и бета=0,05, например, порог для Кульбака =10*log(альфа/(1-вета)) и 10*log((1-альфа)/бета), т.е. +/- 12,8. При достижении этих порогов, как было где то сказано, достигается вероятность безошибочной диагностики 0,95. Можно ли снижать пороги для менее важного состояния и повышать для более фатального. Как связаны альфа и бета с вероятность безошибочной диагностики. Например, если оставить альфа=0,05 и изменить бета=0,2, при этом мы сдвигаем порог принятия решения до +/-12,0, как это будет связано с вероятность безошибочной диагностики Р=?. Если мы говорим об одном и том же, то никак. Дистанция Кульбака это просто один из диагностических индексов, альфа - 1-Sp, бета - 1-Se. (формула, правда, немного другая): для опровержения диагноза dgf=(1-@1Specificity)*LN(1/lrn)+@1Specificity*LN(1/lrp). для подтверждения диагноза dfg=(1-Sensitivity)*LN(lrn)+Sensitivity*LN(lrp) при этом lrp=Sensitivity/@1Specificity. lrn=(1-Sensitivity)/(1-@1Specificity). (http://www.spsstools.ru/f.php?f=539) Так что никакой "безошибочной" диагностики нет. Сама дистанция была разработана для сравнения теоретического и экспериментального распределений (так что использование в случае диагностики, как в моем примере выше не вполне адекватно). Соответственно, методика родственна дистанции Хи2, дистанции Колмогорова-Смирнова и т.п. Более родственной метрикой является дистанция Хеллингера. Подробнее можно почтитать тут http://en.wikipedia.org/wiki/Kullback-Leibler_divergence |
|
5.02.2009 - 22:22
Сообщение
#5
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Можно ли снижать пороги для менее важного состояния и повышать для более фатального. Я сама себя не очень поняла. Сейчас, я нашла первоисточник Гублера, у него в приложении есть таблица величин пороговых сумм для диагностических коэффициентов (ДК) при разном допустимом проценте ошибок альфа и бета. И они считаются по тем формулам, которые я привела. При этом если альфа=0,05, а бета 0,20 , то порог будет +7(для более опасного состояния) и -12 для альтернативы. Но я почему то решила, что для разделения можно использовать не ДК, а именно значение суммы J (Кульбака), поставив знак, соответствующий ДК, но порги для Кульбака нигде не обсуждаются. |
|
6.02.2009 - 00:18
Сообщение
#6
|
|
Группа: Пользователи Сообщений: 1013 Регистрация: 4.10.2006 Пользователь №: 1933 |
Я сама себя не очень поняла. Сейчас, я нашла первоисточник Гублера, у него в приложении есть таблица величин пороговых сумм для диагностических коэффициентов (ДК) при разном допустимом проценте ошибок альфа и бета. И они считаются по тем формулам, которые я привела. При этом если альфа=0,05, а бета 0,20 , то порог будет +7(для более опасного состояния) и -12 для альтернативы. Но я почему то решила, что для разделения можно использовать не ДК, а именно значение суммы J (Кульбака), поставив знак, соответствующий ДК, но порги для Кульбака нигде не обсуждаются. Ну я бы не стал считать Гублера первоисточником... Вообще, как я уже ранее писал, все эти меры скажем так, странные. Что такое этот показатель - отношение (не будем говорить про логарифмы - это всего лишь преобразование) ложноположительных и ложноотрицательных результатов. И что? Почему не использовать отношение правдоподобия? (или его логарифм)? Никакие математические преобразования не добавляют информацию к исходным данным чувствительности и специфичности, как Вы не пытайтесь их прологарифмировать или поделить. Соответственно, если нельзя на основе Se и Sp поставить диагноз, то и все ДК и суммы Джеффриса не помогут. Без априорной вероятности эти меры не работают. Более того. Забывается, что речь идет о выборочных оценках. Соответственно, Se и Sp определяется с ошибкой, которая никак не описывается в этих формулах. Почему используется такой индекс а не другой? Очень просто, если бы все использовали один индекс (например LR), как тогда писать книги? Все же поймут, что это - одно и то же. А так, берем Se и Sp, считаем вместо LR другой показатель, называем его патами, подставляем после преобразований (которые возвращают к LR, но про это не говорится) в формулу теоремы Байеса, делаем красивую табличку и кажется, что диагностика возможна. Только вот не указывается в таблички, как получить исходные значения априорной вероятности... А пороги для Кульбака не обсуждаются потому, что сам показатель был сделан для других целей, а то, что затем придумывают - как я уже говорил, теорема Байеса, вид сбоку. |
|
6.02.2009 - 12:01
Сообщение
#7
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Известно, что ДК имеют знак и понятно, что их суммируют и используют пороги для принятия решения. Диагностические таблицы с ДК очень понятны. А как использовать LR для многих признаков? Добавляя каждый признак пересчитывать вероятность? Как представить результат, чтобы им можно было пользоваться.
|
|
6.02.2009 - 22:21
Сообщение
#8
|
|
Группа: Пользователи Сообщений: 1013 Регистрация: 4.10.2006 Пользователь №: 1933 |
Все описанное ниже базируется на предположении о том, что признаки незвисимы (самое опасное предположение)
Итак обозначим р - вероятность наличия заболевания (априорная, до данного теста), PV - вероятность наличия заболевания (постестовая) По теореме Байеса в случе положительного результата теста PV=p*Se/(p*Se+(1-p)*(1-Sp)) или 1/(1+(1-p)/p*(1-Sp)/Se). Очевидно, что р/(1-р) - априорные шансы наличия заболевания (O), Se/(1-Sp) - отношение правдоподобия (LR+). Оценим постфактовые шансы отсутствия заболевания (1-PV)/PV=1+1/O*1/LR+-1=1/O*1/LR+. Тогда шансы наличия заболевания O*LR+=O'. Теперь, поскольку при последующем тестировании постфактовая вероятность становится априорной, наличие заболевания после второго теста равно O'*LR2 или O*LR+*LR2+. Поскольку с произведениями работать сложно, возьмем логарифм, тогда Шансы наличия заболевания = ln(O)+SUM(LR+i) В том случае, если тест дает отрицательный результат шансы наличия заболевания 1 + p/(1-p)(1-Se)/Sp - 1=O*LR- Далее все те же рассуждения Соотвтственно, логарифм шансов наличия заболевания после нескольких тестов равен сумме логарифма апрорной вероятнсти наличия заболевания и логарифмов LR соответственно для положительного или отрицательного результата теста. Шансы затем трансформируются в вероятности соотношением 1/(1+1/О) |
|
6.02.2009 - 22:46
Сообщение
#9
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Спасибо большое, технология понятна. Остается вопрос, можно ли эти рассуждения применить к дифференциации между двумя болезнями, например опухоль и воспаление. А в качестве априорной вероятности взять госпитальную частоту опухоли относительно воспаления. Например в выборке 70% опухоли и 30% воспаление. Или в группе опухоли дифференциировать злокачественные и доброкачественные. И еще вопрос, где про это можно почитать.
|
|
7.02.2009 - 00:57
Сообщение
#10
|
|
Группа: Пользователи Сообщений: 1013 Регистрация: 4.10.2006 Пользователь №: 1933 |
Спасибо большое, технология понятна. Остается вопрос, можно ли эти рассуждения применить к дифференциации между двумя болезнями, например опухоль и воспаление. А в качестве априорной вероятности взять госпитальную частоту опухоли относительно воспаления. Например в выборке 70% опухоли и 30% воспаление. Или в группе опухоли дифференциировать злокачественные и доброкачественные. И еще вопрос, где про это можно почитать. На самом деле изложеный выше подход - различение любых двух состояний, не только здоровье и болезнь, т.е. дифференцияция опухоль и воспаление точно так же, естественно если тесты проверяли Se и Sp для опухоли и воспаления соответственно. Насчет прочитать - краткое изложение теории диагностики с LR можно найти у Sackett и соавт., Evidence-Based Medicine или у Власова "Эффективность диагнотических исследований". Подробно возможность суммирования LLR шкалы на их основе были описаны в докторской диссертации С.И.Плавинской "Факторы риска и их сочетания в прогнозе ИБС мужчин и женщин в популяции крупного промышленного города" (1993), уверен, что были и другие публикации, но это то, что у меня находится в голове. |
|
7.02.2009 - 23:57
Сообщение
#11
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Спасибо большое!
Именно последнюю работу я не нашла, только уточнение названия "Роль факторов.....Но нашла много зарубежных работ, где хорошо описан результат применения этого метода. В пришпиленной работе авторы используют известную программы, но я не нашла, где именно в ней можно посчитать LR, поэтому много ручной работы, легко ошибиться составляя таблицы для расчета.
Прикрепленные файлы
|
|
8.02.2009 - 07:27
Сообщение
#12
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
В пришпиленной работе авторы используют известную программы, но я не нашла, где именно в ней можно посчитать LR, поэтому много ручной работы, легко ошибиться составляя таблицы для расчета. Применительно к таблицам сопряженности в качестве likelihood ratio используется log-likelihood ratio, имеющее распределение хи-квадрат и поэтому иногда именуемое хи-квадрат максимального правдоподобия. Поэтому в известной программе LR это X2ML или M-L Chi-square (кстати, это также G-критерий Вулфа (Woolf's G-test), G2-критерий и информационный критерий Кульбака 2I). Правда мне пока совсем непонятно как комбинируются LR, полученные по отдельным табличкам 2х2, но это можно поискать. И еще непонятно, что авторы приложенной статьи понимают по преваленсом если у них он составлял 55-60%? Сообщение отредактировал nokh - 8.02.2009 - 07:27 |
|
8.02.2009 - 12:14
Сообщение
#13
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Применительно к таблицам сопряженности Да, вы правы относительно таблиц сопряженности, там есть критерий LRхи кв., и в AtteStat и в SPSS он реализован. Но есть отношение правдоподобия в диагностических таблицах 2х2 , где это отношение вероятности иметь положительный тест у больных к вероятности иметь положительное значение теста у здоровых, т.е. TP/FP или в терминологии чувствительности и специфичности, см. ссылку на калькулятор. http://www.ebem.org/likelihood.html И еще непонятно, что авторы приложенной статьи понимают по преваленсом если у них он составлял 55-60%? У них два состояния, одно встречается немного чаще, это будет, на сколько я понимаю, претестовая вероятность. А дальше, добавляя LR для одного из соcтояний вероятность будет увеличиваться, а для другого, альтернативного состояния, снижаться. |
|
8.02.2009 - 12:17
Сообщение
#14
|
|
Группа: Пользователи Сообщений: 1013 Регистрация: 4.10.2006 Пользователь №: 1933 |
Спасибо большое! Именно последнюю работу я не нашла, только уточнение названия "Роль факторов.....Но нашла много зарубежных работ, где хорошо описан результат применения этого метода. В пришпиленной работе авторы используют известную программы, но я не нашла, где именно в ней можно посчитать LR, поэтому много ручной работы, легко ошибиться составляя таблицы для расчета. LR проверки гипотезы и LR теоремы Байеса разные LR. Авторы статьи просто не акцентируют на этом внимание, но они считали его не в "известной программе". Это просто разные показатели, имеющие одинаковую первую часть названия (в случае статистического тестирования "отношение правдоподобия полученных данных теоретическому распределению", во втором - "отношение правдоподобия наличия заболевания в случае положительного результата теста"). Поэтому есть два LR в теореме Байеса и только одно для соответствующей четырехпольной таблицы. Проблема использования подхода теоремы Байеса - выборочный характер оценки Se и Sp и возможная корреляция между разными тестами. Строго говоря, используя допущение большой выборки проблему оценки дисперсии суммы логарифмов LR можно решить. Для LLR+ она будет равна (1-Se)/Se/n1 + Sp/(1-Sp)/n2, где n1 и n2 - численность здоровых и больных, соответственно. Для суммы LLR надо будет просуммировать все дисперсии и для получения стандартного отклонения - извлечь корень. Однако это все не решает проблемы коррелированности результатов теста. Поэтому-то методы, основанные на суммировании результатов тестов и вышли из моды (цитируемая статья написана авторами из Аргентины). В настоящий момент оптимальным решением поставленной задачи было бы построение модели с помощью логистической регрессии, а затем определение Se и Sp на основе анализа характеристической кривой суммарной модели. Это не всегда используется ввиду того, что результаты логистической регрессии не очень удобно использовать в клинической практике (регрессионное уравнение), поэтому альтернативой является построение шкалы риска на основе логистической регрессии или регрессии Пуассона (собственно, в упоминавшейся мною работе 1993 года и было продемонстрировано, как это делается). |
|
8.02.2009 - 16:07
Сообщение
#15
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
В настоящий момент оптимальным решением поставленной задачи было бы построение модели с помощью логистической регрессии Полностью согласна, давно использую именно этот метода анализа. Но обсуждаемый подход, в чисто познавательном плане интересен тем, что позволяет использовать данные из различных источников. Например отдельно оценить клинические признаки накопленные в архивных базах данных, а затем соединить с новыми данными иммунологии, биохимии, КТ, МРТ, сделанные при тех же состояниях на других больных. Жаль, что мне не доступна работа Плавинской, как и впрочем и вообще С-Петербург. |
|