Версия для печати темы

Автор: Olga_Zuk 6.04.2014 - 23:19

Добрый день,

я студентка медицинской физики, на данный момент пишу научную работу в которой проверяю новый метод диагностики рака шейки матки. Не буду вдаваться в подробности, скажу только что этот метод основан на измерении флуоресценции шейки матки,чем выше флуоресценция, тем выше уровень патологии.

Во время исследований была измерена флуоресценция 80 здоровых тканей шейки матки и 80 больных тканей у разных пациенток.
Значение флуоресценции здоровых тканей было от 0.03 до 17.92, среднее значение 2.96, стандартное отклонение 2.84, медиана: 1.93.
Значение флуоресценции больных тканей было от 0.48 до 38.8, среднее значение 9.35, стандартное отклонение 9.18, медиана 5.9.

Обе выборки ненормалные и их разница статистически разная.

Вопрос: как статистически правильно выбрать граничное значение флуоресценцижи чтобы можно было сказать что если флуоресценции превышает это значение,то шейка матки имеет раковые изменения?

Автор: DrgLena 7.04.2014 - 00:00

http://en.wikipedia.org/wiki/Receiver_operating_characteristic
Что не ясно, спрашиайте, обсуждалось на форуме.

Автор: p2004r 7.04.2014 - 09:27

Здесь проблема в том, что группы разделяются без всякого анализа. Решение имеет такие варианты

1) У границы разделяющей объявляются "края" и лучшая граница проходит таким образом, что бы быть равноудаленной от данных попавших в края.

2) Необходимо делать модели распределения и считать для них оптимальную границу разделения смеси двух распределений. Модель распределения нужна, что бы получить "хвосты" распределения. (В принципе логистическая регрессия что такое и пытается делать)

Автор: DrgLena 7.04.2014 - 16:37

Группы разделяются, по видимому, по гистологии или иному золотому стандарту диагностики, как это принято в медицине. Предлагаемый метод может с ним сравниваться по чувствительности и специфичности. Оносительно найденной оптимальной точки разделения возможен диапазон и настройка этого диапазона производится в медицинском исследовании, когда нужно найти компромис между недодиагностикой у больных и гипердиагностикой у здоровых. Можно оставить часть данных для проверки правила диагностики или ждать новых бльных, уточняя чувствительность и специфичность, которая приводится для нескольких значений, а не только д ля самой оптимальной точки, в которой отмечается максимальная чувствительности и специфичность. Студент медик должен понимать именно эти простые вещи.

Да, используя полученное уравнение логистическаой регрессии, можно посчитать вероятность болезни у каждого больного. Но, при ROC вы тоже получаете ряд значений вероятности болезни и здоровья при каждом значении признака (чувствительность и специфичность). Результат будет то же, поскольку у нас один признак.
Это можно было бы посмотреть, если автор выложит данные на форум.

Автор: Olga_Zuk 7.04.2014 - 19:28

Спасибо за ответ. В принципе теоретически я поняла как это сделать, но практически не очень выходит, с R-project пробую. Может есть программа попроще? чтобы без "програмирывонья", а как в excele, просто столбики выбрать и кнопку нажать? :D а то R-project тяжело мне дается :D

Автор: Olga_Zuk 7.04.2014 - 20:02

Спасибо за желание помочь! Выкладываю данные

Автор: nokh 7.04.2014 - 21:28

http://www.medcalc.org/features/roccurves.php
(http://www.medcalc.org/manual/roccurves.php)

Автор: DrgLena 7.04.2014 - 21:57

У меня пакет MedCalc, в сети есть бесплатная демо именно для ROC, nokh, как раз любезно предоставил ссылки.

Для ваших данных площадь под кривой составила 0,79 (р=0,0001). Оптимальное значение для диагностики рака >4,11. В этой точку чувствительность 67,82% и специфичность 77,11%.
Для ваших задач можно также предложить другие значения, подняв чувствительность за счет снижения специфичности. Например, точка >3,3 ( ч. 74,71% ; сп. 65,05%) или >2,75 (ч. 80,46% и СП. 60,24%).

ROC построенная по расчетным вероятностям логистической регрессии имеет также плошадь 0,79. При расчетной вероятности болезни > 0,45 число верно диагностированных больных 67,82% . Т.е. результат тот же.

Автор: DrgLena 7.04.2014 - 22:10

Ну и R копайте тоже, форум в помощь, p2004 спасибо http://forum.disser.ru/index.php?showtopic=2909&st=45&p=12550&#entry12550

Автор: Olga_Zuk 7.04.2014 - 22:45

Спасибо вам всем огромное!
Medcalc скачала, ROC уже тоже нарисовала, пытаюсь выяснить еще пару вещей, но уже думаю сама справлюсь

Автор: anserovtv 8.04.2014 - 06:33

Кроме проведения ROC-анализа можно построить совсем простое дерево классификации: порог будет выбран автоматически.
Я пробовал, метод работает с минимальными количествами ошибок обоего рода.
Не уверен, правда, что такой глубокий анализ предполагался в студенческой работе. Возможно и ваши, Olga_Zuk, результаты уже достаточны.
Для проведения глубокого исследования признаков должно быть больше и (или) доверительные интервалы должны пересекаться меньше.
ROC-анализ легко сделать и в SPSS. можно скачать демоверсию на две недели.
Поставить флажок Координаты точки кривой и в полученной таблице выбрать нужный вам порог.
Существуют и другие методы определения качества бинарной классификации: статистика Колмогорова -Смирнова (не менее 40). индекс Джини, Lift-кривая.

Автор: DrgLena 8.04.2014 - 08:37

Раз вы уже потратили время, попробовали этот очень глубокий анализ, так поделитесь результатами. Какой порог разделения за вас выбрала машина и каковы ошибки классификации для больных и здоровых, вы эти ошибки назвали обоего рода?

Автор: DoctorStat 8.04.2014 - 09:59

А если в анализе не одна переменная (как здесь), а больше, то во что превращается ROC-кривая ?

Автор: DrgLena 8.04.2014 - 10:37

ROC кривая останется ROC кривой, но будет построена по результатам логистической регрессии, учитывающей несколько предикторов, но это мы уже обсудили. Продолжение дискуссии предложил anserov в плане использования дерева. Так вот вот это предложение выливается в порог 7,27 с соответствующими ошибками, которые сами можете посмотреть на рисунке.

Автор: p2004r 8.04.2014 - 11:16

Это я "на слух" решил что границы групп не пересекаются вообще А так да, простой ROC все покажет.

Но! Есть проблема с выбором критерия отсечения --- Необходимо знать 1) с какой априорной вероятностью встретить заболевание будет использоваться критерий 2) "цену" ошибки ложно позитивного и ложно негативного. Только тогда можно выбрать оптимальное значение по которому отсекать, и которое действительно миниминизирует "стоимость ошибки".

Автор: 100$ 8.04.2014 - 15:12

А вот как красиво решаются подобные вещи в курсе эконометрики.

1. Если требуется получить осмысленный ответ на вопрос " А почему именно логит-модель?", то лучше оценить портфель моделей:
а) логит; б) пробит; в) гомпит

Научно :-) выбрать наилучшую (псевдо R^2, McFadden_R^2, информационные критерии: AIC, BIC, Hannan-Quinn)
Далее шаманить с ROC-кривой.

2. Если не дает покоя изящная мысль дать этот порог (граничное значение) в виде интервала - то вот вам, пожалуйста, порядковая пробит модель (с.48 вложения).

Подробности -во вложении (первые 98 с.). Это не просто интернетовский слив - эти вещи изданы в виде учебников и у Носко В.П. и у Айвазяна А.С.

Автор: anserovtv 8.04.2014 - 17:46

Делюсь результатами:
1) ROC- анализ: площадь 0,792. чувствительность = специфичности =0,7 при пороге 3,63.
2) деревья классификации: порог 3,64. качество = процент корректных 70,6 .
Как я и полагал , результаты идентичны.

Автор: DrgLena 8.04.2014 - 18:47

Точнее, это площадь до третьего знака? Выбрать правильный порог должен исследователь, а не самый точный пакет. Дерево классификации с тем же порогом естественно даст тот же результат, что и ROC. Найдите во вложенном файле именно ваш порог и убедитесь в совпадающих значениях. Но это больше для автора вопроса, чтобы лучше понимать суть метода.

Автор: anserovtv 8.04.2014 - 19:01

Нет. точность в равенстве порогов при данном подходе к выбору порога т.е. с помощью этого критерия.
В деревьях классификации порог выбирался автоматически.

Автор: DrgLena 8.04.2014 - 20:51

Странные доказательства того, что наши программы не так точно считают, как SPSS.
Не хочется повторяться, что порог в ROC анализе выбирает исследователь, исходя из своих целей. Но математически оптимальным является то значение, при котором минимальна ошибка классификации. Так вот для данного набора данных оптимальный порог >4,11 (27,65% общих ошибок), а не >3,63 при которой ошибок больше (30,0%).
Используя дерево, я вправе выбрать метод (CART), что даст мне тот же порог и тот же процент точности классификации. При этом, я использовала разные стат. программы.
Никакой новой информации ваш углубленный метод для этих данных не дает. Именно ROC анализ дает возможность просмотреть все точки и настроить приемник на нужную волну

Автор: anserovtv 8.04.2014 - 21:23

Странно, что у вас качество изменилось. Я и не искал оптимальное решение ни математически ни с других точек зрения . а взял один из стандартных критериев.
Глубокими я назвал методы, которые не использовал сам автор. Я и не утверждал . что деревья лучше, но они могут давать и в этом случае хороший результат.
В некоторых случаях они проще в вычислительном плане, а результаты могут устроить исследователя.

Автор: DrgLena 8.04.2014 - 22:09

Ничего странного, просто я показала вам, что классификация зависит от порога, а условия ветвления от выбранного вами метода. У вас видимо по умолчанию CHAID, у меня другой, я его изменила, получила другой результат. Мне метод нравится, я его использую, но не тогда, когда имеется только один предиктор.

Автор: p2004r 8.04.2014 - 23:23

Все уже украдено до нас

Автор: anserovtv 9.04.2014 - 09:48

Да. я со всем согласен и все это понимаю.
Я и сам ранее не знал . что метод дер.кл. хорошо работает с такими данными , а пороги могут просто совпасть при некоторых настройках с некоторыми искомыми порогами при проведении стандартного ROC-анализа.
Видимо . при желании эти связи можно понять или даже доказать.

Автор: Olga_Zuk 9.04.2014 - 18:41

скажите, а если данные были бы спарены, то есть если брать значения флуоресценции раковых и здоровых тканей у той самой пациентки, то пороговое значение могу выбрать теми же методами?

Автор: anserovtv 10.04.2014 - 09:09

Вот и некоторые другие (наверное, дополнительные) результаты для тех же данных:
статистика Колмогорова-Смирнова 42. индекс Джини 58.
Возможно, кого-то это заинтересует. Есть и новая информация.

Автор: p2004r 10.04.2014 - 21:02

Методы да, но в них надо тогда загружать или отношение флюоресценции "здоровая ткань/ больная ткань" или разницу "здоровая - больная".

Можно также попытаться загружать сразу два значения как две переменные (можно их + индексы). Надо смотреть на сами данные.

Автор: nokh 11.04.2014 - 19:29

Можно теми же. Тогда получается вы не учитываете завимый характер данных. С точки зрения методологии науки неучёт зависимого характера выборок - обычно просто неполное использование имеющейся информации. Если и этой неполной информации достаточно - хорошо, но нужно помнить, что её можно попробовать использовать по максимуму. Другое дело, что некоторые статистические методы жёстко требуют независимости, но у вас не этот случай (+ можно найти аналоги, которые этого требования не содержат, напрмер, рандомизационные процедуры).
Если же вы хотите задействовать всю информацию, тогда нужно получить новый показатель - как предлагает р2004r. Возможно такой показатель будет обладать большей диагностической эффективностью, а возможно - нет. Проверить нужно, т.к. вы ничего не теряете, но можете приобрести. Соответственно, в последнем случае схему диагностики придётся менять: брать у пациента заведомо нормальный образец и параллельно - подозрительный на рак. Насколько это реально и/или оправдано должны решать вы, как специалист в своей области.

Автор: anserovtv 12.04.2014 - 16:43

Olga_Zuk!
Почему бы вам не использовать в диагностике рака нейросетевой подход?
Таких исследований именно раковых заболеваний как в России , так и за рубежом проводилось и проводится очень много.
http://www.mednovosti.by/news.aspx?id=327
http://www.ssc.smr.ru/media/journals/izvestia/2010/2010_1_1615_1616.pdf
http://ilab.xmedtest.net/?q=node/3390
Все исследования показали значительное повышение качества диагностики - до 90% и более. Значительно повышается специфичность.
Возникающие при этом трудности преодолимы. Можно обрабатывать и изображения. а не только числа.
Мои знакомые пишут подобные программы. Также можно создать интерактивный визуализатор для диагностики и (или) наблюдений за динамикой изменений.
Я попробовал создать сети к вашим данным в среде пакетов: качество диагностики повысилось с 70% до 85 (сети Кохонена) или даже 96% (RBF).
Меня волнует больше не ваша научная статья. а потенциально больные люди.
Анатолий Серов
г. Тверь

Автор: DoctorStat 12.04.2014 - 19:51

За счет чего повысилось качество диагностики ? Учет какой новой информации позволил его повысить ?

Автор: anserovtv 12.04.2014 - 19:56

Повышение качества диагностики объясняется применением принципиально другого метода.
Читайте ссылки.

Автор: DoctorStat 12.04.2014 - 20:30

Вы не можете наполнить кувшин водой, просто помолившись своему идолу. Воду откуда-то нужно принести. Так и с диагностикой - нельзя улучшить ее качество, не привлекая дополнительной информации. Нейронные сети, суперкомпьютеры и прочая фигня бессильны, если нет новой информации

Автор: anserovtv 12.04.2014 - 20:58

Идолам не молюсь.
Общеизвестен факт улучшения диагностики туберкулеза с применением НС на 10% . (Галушкин А.И. авторское свидетельство)
Много результатов по диагностике рака , болезней сердца (Галушкин А.И. авторское свидетельство) и др.
Выдающиеся результаты применения НС в прогнозировании курса акций и др., биометрии.
В вашей Москве даже уличное движение регулируется с применением НС (по изображениям с видеокамер),
так как никакие другие методы не работают. Также метод применяется в метро (препятствие на путях напоминает букву А).
В Китае на 2000 год свыше 10 000 сфер применения НС: сравните экономическое развитие Китая и России.
О применении НС военными не буду говорить - секретная информация.
Да, иногда они работают плохо. Не нравятся вам - не применяйте. Если вам нравится научность процесса, то наливайте воду в кувшин без дна.

Автор: p2004r 13.04.2014 - 00:55

Лучше спросите про метод определения эффективности на данных топик стартера

Автор: paravoz 13.04.2014 - 17:37

Могу подтвердить хорошие результаты по классификации больных туберкулезом и здоровых с помощью нейронных сетей. В моей работе доля верной классификации составляет 95% с использованием обычной многослойной нейронной сети.

Автор: anserovtv 13.04.2014 - 17:57

Какие же были сложности при создании программы?
Обрабатывали только числовой материал или (и) изображения?
Якобы изображения нужно переводить в какой-то числовой формат.
Как в ссылке - для изображений применяли свертку, т.е. использовали сверточные нейронные сети?
http://habrahabr.ru/post/74326/
Наверное, для свертки есть специальные программы?
Если это не очень большой секрет.
Скорее всего, это достаточно сложно.

Автор: p2004r 13.04.2014 - 19:11

Проблемы получить на любых, не тождественно совпадающих, обучающих данных хоть "100%" не составляет проблемы. Поэтому есть вопросы:

1) "доля верной классификации" немного странно звучит в теме про применение ROC, это AUC так обозначена?

2) если эта "доля" результат верификации модели, то хотя бы каким способом она осуществлялась? проводилась кроссвалидация? или это результат применения просто к тестовой выборке? или и то и другое одновременно?

Автор: paravoz 13.04.2014 - 20:00

Ничего странного. Для того чтобы пациент был классифицирован в качестве больного туберкулезом или здорового на выходе нейроной сети должны получится значения которые больше или меньше граничного значения. На сколько я понимаю тема именно об этом. По результатам работы нейросети также можно построить ROC-кривую для того чтобы определить это граничное значение с нужной для конкретной задачи чувствительностью и специфичностью.



Это результат полученный на тестовой выборке.

Автор: p2004r 13.04.2014 - 20:19

1) Это не конкретно, поэтому и странно. Пишут чётко AUC для метода в целом, но и этого не достаточно. При равенстве "цены ошибок первого и второго рода" имеет большое значение какова априорная вероятность встретить больного туберкулезом в момент применения модели. Для этого и нужна вся ROC целиком.

2) Тогда это просто точечная оценка, которая никак не говорит о мощности метода. Более-менее устойчивую оценку даст cross validation метода, и "накрытие" ею этой ошибки полученной на тестовой выборке.

Автор: anserovtv 14.04.2014 - 08:10

Для студенческой работы Olga_Zuк точности достаточно и никакие валидации не нужны.
Здесь важнее определиться с подходом. Лично меня не устраивает процент корректных (70%) для такой опасной болезни.
Вопрос автору : если это новый метод диагностики, почему его нельзя использовать в совокупности со старыми для повышения точности прогноза ?
Мы бы остались на уровне студенческой работы.
Если выборка достаточно большая. а больные-здоровые представлены примерно одинаково (как у автора и как обычно), то кросс-проверка ничего нового не даст.
Лучше проверить модель на параллельных выборках.
Дальнейшее не относится к студенческой работе.
1) Если процент корректных близок к 95. то ясно, что площадь близка к 1. а значимость к 0.Форма ROC-кривой также понятна.
2) В хороших программах в НС выборка делится на обучающую и тестовую случайно, поэтому вместо валидации можно
просто запустить процедуру несколько раз, а затем взять средние значения.
Почему-то вы ничего не пишете и о других интересных вещах (сэмплинге здесь и бустинге, бэггинге. скользящем контроле. автокорреляции в регрессионных моделях и др.).

Автор: 100$ 14.04.2014 - 09:20

Пишете.

Автор: anserovtv 14.04.2014 - 10:20

Спасибо. На этой и других страницах много и более грубых грамматических ошибок. Не хочу указывать.

Автор: 100$ 14.04.2014 - 11:03

Так вы же у нас к.ф-м.н. К вам отношение особое. А всем остальным - можно.

Автор: anserovtv 14.04.2014 - 14:42

Спасибо за внимание к моей персоне (пусть и степень указана без точки). В прикладной статистике еще далеко не все знаю. Я и многим другим занимаюсь.
Было бы интересно узнать что-нибудь и о вас. Будете у нас на Колыме - милости просим.
У нас на работе пакет SPSS v.22 установлен на компьютере с демонстрацией на интерактивной доске SMART.
На курсах и студентам показываю немного Amos.
Сегодня на работе пытался объяснить сотруднице /по ее просьбе/ приложения статистики для меддиагностики .
Ей не могут поставить диагноз: соркоидоз или рак.

Автор: 100$ 14.04.2014 - 14:50

Вы сменили Тверь на Колыму? Добровольно или за казенный счет?

Автор: anserovtv 14.04.2014 - 15:37

По сравнению со столицами.

Автор: DrgLena 14.04.2014 - 20:58

Ну, вы, действительно, на все руки мастер!
Не только SPSS рекламируете, но и диагноз ставите? Может вам в другую ветку, где болезни обсуждают

Автор: anserovtv 14.04.2014 - 21:22

Нет , это просто странное совпадение.
Она не понимает. почему ей не могут поставить точный диагноз.
SPSS я не рекламирую, мне и другие программы интересны.
Кстати, 22 версия SPSS достаточно сырая: много ошибок, плохой перевод интерфейса.
21 версия гораздо лучше.

Автор: lekssandr 24.02.2016 - 23:58

Здравствуйте!
У меня схожий вопрос, установлена statistica 8. Мне необходимо определить пороговое значение для маркера. Составил таблицу в первом столбце идут значения маркера, во втором обозначения 0 и 1 для больных и здоровых. Если возможно, расскажите подробно , как определить пороговое значение в statistica 8.

Автор: DrgLena 25.02.2016 - 12:40

Если у вас схожий вопрос, то вы , прочитав эту ветку, выбрали какой то метод из обсуждаемых в этой ветке. Не все эти методы могут быть реализованы в установленной вами программе.

Автор: lekssandr 29.02.2016 - 14:36

В этом всё дело. Я плохо знаю возможности этой программы. До этого была statistica 6 с русификатором, более простые анализы я делал, но как я понял, пороговое значение она определить не может.
Я нашёл информацию, что нужно построить простейшую нейронную сеть, далее нажать ROC-анализ и у нас появится ROC-кривая. Сделал всё это, сформировалась ROC-кривая, но как на ней увидеть пороговое значение, я не знаю.
Если вам не трудно, опишите весь процесс пошагово.