Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> ROC-кривая и точка отсечения
VolhaSh
сообщение 28.01.2016 - 23:11
Сообщение #1


Дух форума
*

Группа: Пользователи
Сообщений: 5
Регистрация: 23.02.2009
Пользователь №: 5847



Здравствуйте!

Подскажите, пожалуйста, где можно скачать работающую версию MedCalc? Или доступные программы для построения ROC-кривой?Работа тестового MedCalc закончилась. Работаю в StatSoft, но без функции neuronal network, т.е. насколько мне известно в Статистике Roc-кривые не построю. Stata оказалась для меня чрезвычайно сложной, не удается построить кривые.

Благодарю всех откликнувшихся!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
ogurtsov
сообщение 29.01.2016 - 07:14
Сообщение #2


Дух форума
*

Группа: Пользователи
Сообщений: 99
Регистрация: 15.12.2015
Пользователь №: 27760



Хотел процитировать ответ из http://forum.disser.ru/index.php?showtopic=3832
Потом передумал smile.gif
Скачать MedCalc можно на https://www.medcalc.org/
Нейросети никак с возможностью строить ROC-кривые не связаны, наличие/отсутствие одной функции не гарантирует наличие/отсутствие другой.

Сообщение отредактировал ogurtsov - 29.01.2016 - 07:15


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 30.01.2016 - 12:56
Сообщение #3


Дух форума
*

Группа: Пользователи
Сообщений: 1314
Регистрация: 27.11.2007
Пользователь №: 4573



1. Ogurtsov, надо было таки да, передумать, поскольку в цитируемой ветке есть ответ на другой вопрос, как построить несколько ROC кривых на одном графике, я дала ответ, но видимо, он уже не актуален для автора поста, поскольку потеряна сама программа.
2. Вы думаете, что можно повторно скачать и вновь запустить триал версию, которой любезно дают попользоваться 15 дней бесплатно. Вы ошибаетесь, если вам понравилась программа, вы должны ее купить.
3. О модуле нейросети в программе Statistica вы, скорее всего, тоже ничего не знаете. Если я ошибаюсь, ответьте на вопрос, какие ROC кривые и для чего можно построить именно в этом модуле этой программы. Новые знания приветствуются на форуме, мы тут все учимся.

А теперь по существу вопроса для автора поста. Старые версии MedCalc гуляют свободно, 9 версия точно. STATA не сложна, просто другая идеология. Я там строила ROC только после логистической регрессии, все хелпы под рукой и вполне логично составить командную строку. Если уж хочется еще проще, можно воспользоваться бесплатными on-line калькуляторами. Например, полезна для изучения ссылка http://www.rad.jhmi.edu/jeng/javarad/roc/JROCFITi.html но, чтобы у вас на машине все это заработало, нужно понимать, что требует программа.
И еще проще, кидайте данные на форум и будет вам куча картинок в разных программах smile.gif
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
ogurtsov
сообщение 30.01.2016 - 13:28
Сообщение #4


Дух форума
*

Группа: Пользователи
Сообщений: 99
Регистрация: 15.12.2015
Пользователь №: 27760



Цитата(DrgLena @ 30.01.2016 - 12:56) *
1. Ogurtsov, надо было таки да, передумать, поскольку в цитируемой ветке есть ответ на другой вопрос, как построить несколько ROC кривых на одном графике, я дала ответ, но видимо, он уже не актуален для автора поста, поскольку потеряна сама программа.

Имелась ввиду ссылка на http://web.expasy.org/pROC/ от p2004r.


Цитата(DrgLena @ 30.01.2016 - 12:56) *
2. Вы думаете, что можно повторно скачать и вновь запустить триал версию, которой любезно дают попользоваться 15 дней бесплатно. Вы ошибаетесь, если вам понравилась программа, вы должны ее купить.

Я думаю, что работающую версию логично брать на оф. сайте. За деньги, естественно.
Если вопрошающий хочет чего-то другого, то об этом можно было бы спросить более явно. Например, я пиратить никого не призываю (призываю изначально ориентироваться на бесплатное ПО в виде пакетов для R, в том числе pROC), но если очень нужно, то можно ведь настроить виртуалку, поставить триальную версию и повторять эту процедуру каждые 15 дней (каждый раз ставить на свежую виртуальную машину).

Цитата(DrgLena @ 30.01.2016 - 12:56) *
3. О модуле нейросети в программе Statistica вы, скорее всего, тоже ничего не знаете. Если я ошибаюсь, ответьте на вопрос, какие ROC кривые и для чего можно построить именно в этом модуле этой программы. Новые знания приветствуются на форуме, мы тут все учимся.


Не знаю. Но если автор работает "без функции neuronal network", могу предположить, что нейросети он не обучает и при помощи ROC-кривых оценивает качество каких-то совсем других моделей для классификации. А если есть модель и есть количества ложноположительных и ложноотрицательных результатов (confusion matrix), то ROC-кривые можно строить в чем угодно, хоть от руки на бумаге.

Сообщение отредактировал ogurtsov - 30.01.2016 - 14:15


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
tugashenko@yande...
сообщение 12.05.2016 - 15:34
Сообщение #5


Дух форума
*

Группа: Пользователи
Сообщений: 1
Регистрация: 12.05.2016
Пользователь №: 28264



Прикрепленный файл  построить_ROC_кривую.pdf ( 273,61 килобайт ) Кол-во скачиваний: 248
Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее



Сообщение отредактировал tugashenko@yandex.ru - 12.05.2016 - 15:40
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Statzilla
сообщение 12.05.2016 - 16:17
Сообщение #6


Дух форума
*

Группа: Пользователи
Сообщений: 4
Регистрация: 6.05.2016
Из: Ростов-на-Дону
Пользователь №: 28250



Цитата(tugashenko@yandex.ru @ 12.05.2016 - 15:34) *
Прикрепленный файл  построить_ROC_кривую.pdf ( 273,61 килобайт ) Кол-во скачиваний: 248
Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее


Добрый день!

ROC и AUC являются мерами качества при измерении / предсказании / скрининге качественного показателя (например, есть рак или нет рака).
Вы измеряете концентрацию IgM - это количественный показатель.
Соответственно, для вашей задачи (по крайней мере, согласно тому, что указано в выложенном Вами pdf), ROC-кривая неприменима.


Сообщение отредактировал Statzilla - 12.05.2016 - 16:24


Signature
Наша цель - превращать числа в знание и делиться этим знанием с миром
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 13.05.2016 - 16:52
Сообщение #7


Дух форума
*

Группа: Пользователи
Сообщений: 1032
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(tugashenko@yandex.ru @ 12.05.2016 - 15:34) *
Прикрепленный файл  построить_ROC_кривую.pdf ( 273,61 килобайт ) Кол-во скачиваний: 248
Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее


Это метрологическая задача

Вот например пакет с функциями для лабораторной метрологии где много ссылок на методы и стандарты https://cran.r-project.org/web/packages/metRology/index.html .

А вообще понятно, что каждая пробирка имеет одинаковый уровень, все три метода в чем то врут. Если они имеют только систематическую устранимую ошибку, то все точки в трехмерном пространстве соответствующие пробирко-дням лежат на гладкой кривой (в идеале вообще прямой). Все что выбивается за эту "систематическую часть" надо относить к "случайной ошибке" и от неё считать точность метода. Для остатков будет по каждой из проекций получаться обычная одномерная статистика.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
sunnylesik
сообщение 23.05.2016 - 23:13
Сообщение #8


Дух форума
*

Группа: Пользователи
Сообщений: 1
Регистрация: 23.05.2016
Пользователь №: 28296



Здравствуйте!

У меня в четверг предзащита, рецензенты сказали, что нужно дополнить мои результаты анализом выживаемости и ROC-анализом. С анализом выживаемости я разобралась - построила кривые каплана, сравнила между собой. А вот с ROC-кривыми не пойму. Я работаю на Mac и у меня есть программа Wizrd - очень простая. В ней есть такая функция - построить модель по уравнению F=a0 + a1x1+ a2x2 и т.д. При выборе в качестве функции бинарного параметра (закодированного 0 или 1), программа строит ROC-кривые. Насколько это вообще может быть использовано мной? или нужно искать более нормальные программы? В качестве функции я взяла параметра времени ремиссии более 2-х лет (0) и менее 2-х лет (1). Зависимость от сердечного индекса. AUC при этом более 0,7 - это хорошо. Я нашла порог отсечения (читала про него в интернете) - он оказался 0,08. И теперь не могу понять, что мне с этим всем делать - с кривой, с порогом отсечения. Я понимаю, что вопрос мой достаточно глупый (читала столько умных постов здесь). Но я уже несколько часов пытаюсь понять что же мне делать и что-то от меня явно ускользает smile.gif Я понимаю что такое специфичность, что такое чувствительность метода. Понимаю на основании чего строится график. Но как это применить к своим результатам и зачем мне это нужно понять никак не могу.
Если кто-то откликнется - буду очень признательна. До апробации 3 дня и я в отчаянии )
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 24.05.2016 - 11:33
Сообщение #9


Дух форума
*

Группа: Пользователи
Сообщений: 649
Регистрация: 23.08.2010
Пользователь №: 22694



Цитата(sunnylesik @ 23.05.2016 - 23:13) *
Здравствуйте!

У меня в четверг предзащита, рецензенты сказали, что нужно дополнить мои результаты анализом выживаемости и ROC-анализом. С анализом выживаемости я разобралась - построила кривые каплана, сравнила между собой. А вот с ROC-кривыми не пойму. Я работаю на Mac и у меня есть программа Wizrd - очень простая. В ней есть такая функция - построить модель по уравнению F=a0 + a1x1+ a2x2 и т.д. При выборе в качестве функции бинарного параметра (закодированного 0 или 1), программа строит ROC-кривые. Насколько это вообще может быть использовано мной? или нужно искать более нормальные программы? В качестве функции я взяла параметра времени ремиссии более 2-х лет (0) и менее 2-х лет (1). Зависимость от сердечного индекса. AUC при этом более 0,7 - это хорошо. Я нашла порог отсечения (читала про него в интернете) - он оказался 0,08. И теперь не могу понять, что мне с этим всем делать - с кривой, с порогом отсечения. Я понимаю, что вопрос мой достаточно глупый (читала столько умных постов здесь). Но я уже несколько часов пытаюсь понять что же мне делать и что-то от меня явно ускользает smile.gif Я понимаю что такое специфичность, что такое чувствительность метода. Понимаю на основании чего строится график. Но как это применить к своим результатам и зачем мне это нужно понять никак не могу.
Если кто-то откликнется - буду очень признательна. До апробации 3 дня и я в отчаянии )



В моделях бинарного выбора (когда зависимая переменная принимает два значения - 0 и 1) отмоделировать такую ситуацию можно лишь тремя моделями: логит - моделью, пробит - моделью и гомпит - моделью. Применительно к данному случаю величину F=a0+a1x1+... нужно еще засунуть в формулу для расчета вероятности наступления события. Если Wizrd делает именно так, то хорошо, если нет - то все это легко загугливается и при желании за 5 минут оценивается в Экселе: там нужно напротив ячеек с "0" и "1" внести формулу расчета вероятности этого события, составить логарифм функции правдоподобия как простую сумму этих значений и найти оптимальное параметры с помощью "решателя" (надстройка "Поиск решения"("Solver")). Так что за три дня точно управитесь.

Упомянутые сигмоиды (графики логита, пробита и гомпита) пересекают ось ординат в точке 0.5. Соответственно, порог отсечения вряд ли может быть ,08.
Шаманизм с ROC-кривой нужен для более точной настройки вашей модели. Это- попытка повысить качество распознавания бинарного классификатора.

Сообщение отредактировал 100$ - 24.05.2016 - 11:45
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
drevgen
сообщение 25.05.2016 - 14:15
Сообщение #10


Дух форума
*

Группа: Пользователи
Сообщений: 7
Регистрация: 7.01.2016
Пользователь №: 27856



Вариант решения может быть. Кривые РОК строятся не только по бинарным данным. Если быстро - пробуйте скачать либо Winpepi (возможно есть под MAC) либо Attestat (пристройка к Еxcell). Принцип построения кривой РОК для показателя в них в принципе одинаков. Надо свои уровни иммуноглобулинов подставить в виде ряда данных, но напротив каждого измерения отметить его истинный результат - т.е. патология есть (краснуха или что) или нету, в виде + или -, 0 или 1. Но эти "+ -" должны отражать ваши реальные измерения. Если вы измеряли уровень только у заведомых больных, то извиняюсь, тогда это анализ чувствительности метода, т. е. метрологическая задача, никакая рок кривая там не строится.
WInPEPi вкладка Describe секция L (подсекция L4 Apprasal of use) попробуйте там, можно даже сравнить две кривые.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему