Кульбак Опции

[DrgLena]

Вопрос из области теории информации. В сибирском медицинском журнале часто встречается диагностика или прогноз с использованием последовательного алгоритма Вальда, информативность признаков оценивается по Кульбаку.
Мой вопрос возник в связи с тем, что реально не всегда достигаются заданные высокие пороги для диагностики, но оценку набору используемых диагностических признаков все же хочется дать.
В задаче дифференциальной диагностики между двумя состояниями (верифицированы гистологически) рассчитывали диагностические коэффициенты клинических признаков, далее, вычисляли показатель накопленной информативности как арифметическая сумма (J) показателей информативности факторов риска, имеющихся у исследуемого (по Кульбаку). Далее, нужно эти суммы сравнить с выбранными порогами - но, можно ли дальше пойти другим путем. В этой новой переменной (J) найти точку перегиба используя анализ ROC-кривой и оценить таким образом диагностический тест, т.е. описать чувствительность и специфичность более привычным образом.

[плав]

Если я правильно понял Вашу задачу, то Ваше решение абсолютно правильно. Итак есть зависимая бинарная переменная (гистология) и независимая ординальная (упорядоченная) переменная J. Соответственно, можно для каждого значения J рассчитать Se и 1-Sp, построить ROC кривую и затем подобрать наиболее адекватную задаче точку разделения и, что еще важнее, оценить площадь под кривой, что позволит, например, сравнить полученные данные с клиническими признаками по отдельности. Тогда, опираясь на анализе AUC ROC можно будет сделать вывод, что метод с арифметической суммой J действительно приводит к более информативным результатам, чем использование признаков без него (ведь для AUC можно оценить SE и ДИ и, соответственно, ответить на вопрос о достоверности представляемых выводов).

[DrgLena]

Плав, спасибо. Я просто не встречала в литературе сочетания этих двух подходов, поэтому нет уверенности.
По определенным градациям информативных клинических признаков суммарная информативность по Кульбаку (с учетом знака) разделяет J таким образом, что чувствительность составляет 100%, а специфичность значительно ниже 62,4%. Прощадь под ROC =0,85 р=0,0001. Теперь есть желание добавить результаты цитологии и повысить эффективность диагностики. Но вопросы остаются. При вычислении сумм, правильно ли я присваиваю знак плюс, если признак (или градация признака) чаще встречается в группе диагностируемого состояния и минус, если признак чаще встречается группе альтернативного состояния. Или это не имеет значения. В статьях есть и так и иначе. Если задать уровень альфа и вета =5%, то пороги будут +-12,55. Толком не разобралась, если вне порога по Кульбаку, то получаентся просто неопределенность. ROC для меня более предпочтительная оценка, она дает вероятность обоих состояний в зависимости от выбора точки разделения. Кстати, ссылка на программку по расчету J, автор давал, по моему, на этом фооруме.

[Игорь]

Я просто не встречала в литературе сочетания этих двух подходов, поэтому нет уверенности.

Посмотрите ссылку на автореферат диссертации http://www.nzmedek.nm.ru/indexdis07char2.html. Там для оценки качества последовательного анализа Вальда применяется именно данный способ. Определенно можно сослаться.

В данной статье http://www.vestnik.vsu.ru/pdf/econ/2005/01/davnis.pdf можно немного почитать об использовании информационного анализа для оценки качества бинарного классификатора.

Еще предложение. А почему бы не использовать в решаемой задаче логистический анализ либо пробит-анализ. Эти методы дают примерно одинаковые результаты, имеют совершенно формализованный алгоритм (один и тот же для обоих методов, за исключением сигмоидальной "функции активации", пользуясь терминологией искусственных нейронных сетей) и внятное описание в литературе.

[плав]

На самом деле полностью согласен с Игорем относительно логистического анализа (ROC анализ можно делать и на основе результатов логситической регрессии). Единственно, что меня смущает, это р для AUC ROC. Само по себе это значение странное, имеется ввиду отличие AUC ROC от 0 или от 0,5? (разница принципиальная). Кроме того, прошу прощения, если напоминаю общеизвестные вещи, но не стоит пользоваться только одной точкой разделения. Я думаю, вполне можно было подобрать другие значения J для которых чувствительность будет ниже, зато специафичность выше. Не стоит забывать, что высокая чувствительность хороша для исключения заболевания (если признака нет, а он 100% чувствительный, значит болезни нет). Для подтверждения же нужны признаки с высокой специфичностью. Поэтому надо либо четко описывать диагностическую ситуацию, либо использовать "усредненную" ситуацию, но тогда следует опираться на AUC ROC, а не на точечные значения чувствительности и специфичности.

[nokh]

Вопрос из области теории информации...

Информационная мера Кульбака идентична отношению максимального правдоподобия (G-критерий или критерий G-квадрат). Есть ли смысл для оценки информативности признаков использовать другое название столь распространенного метода?

[DrgLena]

На данном этапе исследования мне нужно только дать оценку информативности конкретному набору клинических признаков, после вывода, что он не достаточно информативен, добавить данные цитологического исследования. А потом уже строить диагностическую модель, используя логистическую регрессию для наиболее значимых признаков. Получить такую площадь ROC только по клиническим признакам я и не рассчитывала. Ее оценка р=0,0001 относится к диагонали. Логистическая регрессия по переменной J дает на этой обучающей выборке 75% верной диагностики, дерево решений (Classification Trees) 82%.

[DrgLena]

[ Поэтому надо либо четко описывать диагностическую ситуацию, либо использовать "усредненную" ситуацию, но тогда следует опираться на AUC ROC, а не на точечные значения чувствительности и специфичности.
[/quote]
Да, есть точка разделения при которой чувст 80% и спец 80%. Но площадь под кривой не зависит от выбранной точки разделения. Но мне нельзя пропустить именно злокачественное состояние.

Эскизы прикрепленных изображений

 

[плав]

Поясню свою мысль.
Нельзя пропустить означает 100% чувствительность, однако платой за это является почти 40% ложноположительных результатов. Строго говоря это означает, что если врач не уверен в наличии новообразования (скажем, априорная вероятность 50%), использование этого критерия (при его положительности) будет давать 30% ложноположительных результатов. Соответственно, например, принимать решение о химиотерапии, операции или лучевой терапии на основе этого критерия лучше не стоит. Если же есть другие, более дорогие методы диагностики, которые будут использоваться следом, то такой критерий вполне возможен для использования.
Для сравнения точка 80%-80% дает вероятность истинно положительного результата при положительном заключении в 80% (а 100%-60% давала 71%).
Обычно критерии со 100% чувствительностью используют в инфекционной патологии (представьте пропуск случая легочной чумы в городе с наличием метро), а вот в онкологии, скорее со 100% специфичностью, поскольку методы лечения достаточно агрессивные.
AUC ROC используется для сравнения методов при всех возможных точках разделения, а точечные оценки Se и Sp - только одной точки. Да. и еще не забудьте, что Se и Sp являются выборочными значениями, значит они варьируют и поэтому для них тоже надо определять 95%ДИ.

[DrgLena]

Все это верно, но в данном случае мне нужно только обосновать необходимость цитологического дообследования, пытаясь получить диагностику сопоставимую с гистологией, поскольку ее не всегда можно сделать. Т.е. мне нужно показать, что расширяя информационное пространство признаков можно получить необходимую диагностическую точность без биопсии. При этом наглядно можно показать, что суммарная информативность по Кульбаку для меланомы возрастает напримет от ∑=7,64 до 13,7, а для невуса с ∑=-11,3 до 13,9.