ROC-кривая и точка отсечения |
Здравствуйте, гость ( Вход | Регистрация )
ROC-кривая и точка отсечения |
28.01.2016 - 23:11
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 5 Регистрация: 23.02.2009 Пользователь №: 5847 |
Здравствуйте!
Подскажите, пожалуйста, где можно скачать работающую версию MedCalc? Или доступные программы для построения ROC-кривой?Работа тестового MedCalc закончилась. Работаю в StatSoft, но без функции neuronal network, т.е. насколько мне известно в Статистике Roc-кривые не построю. Stata оказалась для меня чрезвычайно сложной, не удается построить кривые. Благодарю всех откликнувшихся! |
|
29.01.2016 - 07:14
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 127 Регистрация: 15.12.2015 Пользователь №: 27760 |
Хотел процитировать ответ из http://forum.disser.ru/index.php?showtopic=3832
Потом передумал Скачать MedCalc можно на https://www.medcalc.org/ Нейросети никак с возможностью строить ROC-кривые не связаны, наличие/отсутствие одной функции не гарантирует наличие/отсутствие другой. Сообщение отредактировал ogurtsov - 29.01.2016 - 07:15 |
|
30.01.2016 - 12:56
Сообщение
#3
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
1. Ogurtsov, надо было таки да, передумать, поскольку в цитируемой ветке есть ответ на другой вопрос, как построить несколько ROC кривых на одном графике, я дала ответ, но видимо, он уже не актуален для автора поста, поскольку потеряна сама программа.
2. Вы думаете, что можно повторно скачать и вновь запустить триал версию, которой любезно дают попользоваться 15 дней бесплатно. Вы ошибаетесь, если вам понравилась программа, вы должны ее купить. 3. О модуле нейросети в программе Statistica вы, скорее всего, тоже ничего не знаете. Если я ошибаюсь, ответьте на вопрос, какие ROC кривые и для чего можно построить именно в этом модуле этой программы. Новые знания приветствуются на форуме, мы тут все учимся. А теперь по существу вопроса для автора поста. Старые версии MedCalc гуляют свободно, 9 версия точно. STATA не сложна, просто другая идеология. Я там строила ROC только после логистической регрессии, все хелпы под рукой и вполне логично составить командную строку. Если уж хочется еще проще, можно воспользоваться бесплатными on-line калькуляторами. Например, полезна для изучения ссылка http://www.rad.jhmi.edu/jeng/javarad/roc/JROCFITi.html но, чтобы у вас на машине все это заработало, нужно понимать, что требует программа. И еще проще, кидайте данные на форум и будет вам куча картинок в разных программах |
|
30.01.2016 - 13:28
Сообщение
#4
|
|
Группа: Пользователи Сообщений: 127 Регистрация: 15.12.2015 Пользователь №: 27760 |
1. Ogurtsov, надо было таки да, передумать, поскольку в цитируемой ветке есть ответ на другой вопрос, как построить несколько ROC кривых на одном графике, я дала ответ, но видимо, он уже не актуален для автора поста, поскольку потеряна сама программа. Имелась ввиду ссылка на http://web.expasy.org/pROC/ от p2004r. 2. Вы думаете, что можно повторно скачать и вновь запустить триал версию, которой любезно дают попользоваться 15 дней бесплатно. Вы ошибаетесь, если вам понравилась программа, вы должны ее купить. Я думаю, что работающую версию логично брать на оф. сайте. За деньги, естественно. Если вопрошающий хочет чего-то другого, то об этом можно было бы спросить более явно. Например, я пиратить никого не призываю (призываю изначально ориентироваться на бесплатное ПО в виде пакетов для R, в том числе pROC), но если очень нужно, то можно ведь настроить виртуалку, поставить триальную версию и повторять эту процедуру каждые 15 дней (каждый раз ставить на свежую виртуальную машину). 3. О модуле нейросети в программе Statistica вы, скорее всего, тоже ничего не знаете. Если я ошибаюсь, ответьте на вопрос, какие ROC кривые и для чего можно построить именно в этом модуле этой программы. Новые знания приветствуются на форуме, мы тут все учимся. Не знаю. Но если автор работает "без функции neuronal network", могу предположить, что нейросети он не обучает и при помощи ROC-кривых оценивает качество каких-то совсем других моделей для классификации. А если есть модель и есть количества ложноположительных и ложноотрицательных результатов (confusion matrix), то ROC-кривые можно строить в чем угодно, хоть от руки на бумаге. Сообщение отредактировал ogurtsov - 30.01.2016 - 14:15 |
|
12.05.2016 - 15:34
Сообщение
#5
|
|
Группа: Пользователи Сообщений: 1 Регистрация: 12.05.2016 Пользователь №: 28264 |
построить_ROC_кривую.pdf ( 273,61 килобайт )
Кол-во скачиваний: 468
Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее Сообщение отредактировал tugashenko@yandex.ru - 12.05.2016 - 15:40 |
|
12.05.2016 - 16:17
Сообщение
#6
|
|
Группа: Пользователи Сообщений: 4 Регистрация: 6.05.2016 Из: Ростов-на-Дону Пользователь №: 28250 |
построить_ROC_кривую.pdf ( 273,61 килобайт )
Кол-во скачиваний: 468 Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее Добрый день! ROC и AUC являются мерами качества при измерении / предсказании / скрининге качественного показателя (например, есть рак или нет рака). Вы измеряете концентрацию IgM - это количественный показатель. Соответственно, для вашей задачи (по крайней мере, согласно тому, что указано в выложенном Вами pdf), ROC-кривая неприменима. Сообщение отредактировал Statzilla - 12.05.2016 - 16:24 Наша цель - превращать числа в знание и делиться этим знанием с миром
|
|
13.05.2016 - 16:52
Сообщение
#7
|
|
Группа: Пользователи Сообщений: 1091 Регистрация: 26.08.2010 Пользователь №: 22699 |
построить_ROC_кривую.pdf ( 273,61 килобайт )
Кол-во скачиваний: 468 Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее Это метрологическая задача Вот например пакет с функциями для лабораторной метрологии где много ссылок на методы и стандарты https://cran.r-project.org/web/packages/metRology/index.html . А вообще понятно, что каждая пробирка имеет одинаковый уровень, все три метода в чем то врут. Если они имеют только систематическую устранимую ошибку, то все точки в трехмерном пространстве соответствующие пробирко-дням лежат на гладкой кривой (в идеале вообще прямой). Все что выбивается за эту "систематическую часть" надо относить к "случайной ошибке" и от неё считать точность метода. Для остатков будет по каждой из проекций получаться обычная одномерная статистика. |
|
23.05.2016 - 23:13
Сообщение
#8
|
|
Группа: Пользователи Сообщений: 1 Регистрация: 23.05.2016 Пользователь №: 28296 |
Здравствуйте!
У меня в четверг предзащита, рецензенты сказали, что нужно дополнить мои результаты анализом выживаемости и ROC-анализом. С анализом выживаемости я разобралась - построила кривые каплана, сравнила между собой. А вот с ROC-кривыми не пойму. Я работаю на Mac и у меня есть программа Wizrd - очень простая. В ней есть такая функция - построить модель по уравнению F=a0 + a1x1+ a2x2 и т.д. При выборе в качестве функции бинарного параметра (закодированного 0 или 1), программа строит ROC-кривые. Насколько это вообще может быть использовано мной? или нужно искать более нормальные программы? В качестве функции я взяла параметра времени ремиссии более 2-х лет (0) и менее 2-х лет (1). Зависимость от сердечного индекса. AUC при этом более 0,7 - это хорошо. Я нашла порог отсечения (читала про него в интернете) - он оказался 0,08. И теперь не могу понять, что мне с этим всем делать - с кривой, с порогом отсечения. Я понимаю, что вопрос мой достаточно глупый (читала столько умных постов здесь). Но я уже несколько часов пытаюсь понять что же мне делать и что-то от меня явно ускользает Я понимаю что такое специфичность, что такое чувствительность метода. Понимаю на основании чего строится график. Но как это применить к своим результатам и зачем мне это нужно понять никак не могу. Если кто-то откликнется - буду очень признательна. До апробации 3 дня и я в отчаянии ) |
|
24.05.2016 - 11:33
Сообщение
#9
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
Здравствуйте! У меня в четверг предзащита, рецензенты сказали, что нужно дополнить мои результаты анализом выживаемости и ROC-анализом. С анализом выживаемости я разобралась - построила кривые каплана, сравнила между собой. А вот с ROC-кривыми не пойму. Я работаю на Mac и у меня есть программа Wizrd - очень простая. В ней есть такая функция - построить модель по уравнению F=a0 + a1x1+ a2x2 и т.д. При выборе в качестве функции бинарного параметра (закодированного 0 или 1), программа строит ROC-кривые. Насколько это вообще может быть использовано мной? или нужно искать более нормальные программы? В качестве функции я взяла параметра времени ремиссии более 2-х лет (0) и менее 2-х лет (1). Зависимость от сердечного индекса. AUC при этом более 0,7 - это хорошо. Я нашла порог отсечения (читала про него в интернете) - он оказался 0,08. И теперь не могу понять, что мне с этим всем делать - с кривой, с порогом отсечения. Я понимаю, что вопрос мой достаточно глупый (читала столько умных постов здесь). Но я уже несколько часов пытаюсь понять что же мне делать и что-то от меня явно ускользает Я понимаю что такое специфичность, что такое чувствительность метода. Понимаю на основании чего строится график. Но как это применить к своим результатам и зачем мне это нужно понять никак не могу. Если кто-то откликнется - буду очень признательна. До апробации 3 дня и я в отчаянии ) В моделях бинарного выбора (когда зависимая переменная принимает два значения - 0 и 1) отмоделировать такую ситуацию можно лишь тремя моделями: логит - моделью, пробит - моделью и гомпит - моделью. Применительно к данному случаю величину F=a0+a1x1+... нужно еще засунуть в формулу для расчета вероятности наступления события. Если Wizrd делает именно так, то хорошо, если нет - то все это легко загугливается и при желании за 5 минут оценивается в Экселе: там нужно напротив ячеек с "0" и "1" внести формулу расчета вероятности этого события, составить логарифм функции правдоподобия как простую сумму этих значений и найти оптимальное параметры с помощью "решателя" (надстройка "Поиск решения"("Solver")). Так что за три дня точно управитесь. Упомянутые сигмоиды (графики логита, пробита и гомпита) пересекают ось ординат в точке 0.5. Соответственно, порог отсечения вряд ли может быть ,08. Шаманизм с ROC-кривой нужен для более точной настройки вашей модели. Это- попытка повысить качество распознавания бинарного классификатора. Сообщение отредактировал 100$ - 24.05.2016 - 11:45 |
|
25.05.2016 - 14:15
Сообщение
#10
|
|
Группа: Пользователи Сообщений: 7 Регистрация: 7.01.2016 Пользователь №: 27856 |
Вариант решения может быть. Кривые РОК строятся не только по бинарным данным. Если быстро - пробуйте скачать либо Winpepi (возможно есть под MAC) либо Attestat (пристройка к Еxcell). Принцип построения кривой РОК для показателя в них в принципе одинаков. Надо свои уровни иммуноглобулинов подставить в виде ряда данных, но напротив каждого измерения отметить его истинный результат - т.е. патология есть (краснуха или что) или нету, в виде + или -, 0 или 1. Но эти "+ -" должны отражать ваши реальные измерения. Если вы измеряли уровень только у заведомых больных, то извиняюсь, тогда это анализ чувствительности метода, т. е. метрологическая задача, никакая рок кривая там не строится.
WInPEPi вкладка Describe секция L (подсекция L4 Apprasal of use) попробуйте там, можно даже сравнить две кривые. |
|