ROC-кривая и точка отсечения Опции

[VolhaSh]

Здравствуйте!

Подскажите, пожалуйста, где можно скачать работающую версию MedCalc? Или доступные программы для построения ROC-кривой?Работа тестового MedCalc закончилась. Работаю в StatSoft, но без функции neuronal network, т.е. насколько мне известно в Статистике Roc-кривые не построю. Stata оказалась для меня чрезвычайно сложной, не удается построить кривые.

Благодарю всех откликнувшихся!

[ogurtsov]

Хотел процитировать ответ из http://forum.disser.ru/index.php?showtopic=3832
Потом передумал
Скачать MedCalc можно на https://www.medcalc.org/
Нейросети никак с возможностью строить ROC-кривые не связаны, наличие/отсутствие одной функции не гарантирует наличие/отсутствие другой.

Сообщение отредактировал ogurtsov - 29.01.2016 - 07:15

[DrgLena]

1. Ogurtsov, надо было таки да, передумать, поскольку в цитируемой ветке есть ответ на другой вопрос, как построить несколько ROC кривых на одном графике, я дала ответ, но видимо, он уже не актуален для автора поста, поскольку потеряна сама программа.
2. Вы думаете, что можно повторно скачать и вновь запустить триал версию, которой любезно дают попользоваться 15 дней бесплатно. Вы ошибаетесь, если вам понравилась программа, вы должны ее купить.
3. О модуле нейросети в программе Statistica вы, скорее всего, тоже ничего не знаете. Если я ошибаюсь, ответьте на вопрос, какие ROC кривые и для чего можно построить именно в этом модуле этой программы. Новые знания приветствуются на форуме, мы тут все учимся.

А теперь по существу вопроса для автора поста. Старые версии MedCalc гуляют свободно, 9 версия точно. STATA не сложна, просто другая идеология. Я там строила ROC только после логистической регрессии, все хелпы под рукой и вполне логично составить командную строку. Если уж хочется еще проще, можно воспользоваться бесплатными on-line калькуляторами. Например, полезна для изучения ссылка http://www.rad.jhmi.edu/jeng/javarad/roc/JROCFITi.html но, чтобы у вас на машине все это заработало, нужно понимать, что требует программа.
И еще проще, кидайте данные на форум и будет вам куча картинок в разных программах

[ogurtsov]

1. Ogurtsov, надо было таки да, передумать, поскольку в цитируемой ветке есть ответ на другой вопрос, как построить несколько ROC кривых на одном графике, я дала ответ, но видимо, он уже не актуален для автора поста, поскольку потеряна сама программа.

Имелась ввиду ссылка на http://web.expasy.org/pROC/ от p2004r.

2. Вы думаете, что можно повторно скачать и вновь запустить триал версию, которой любезно дают попользоваться 15 дней бесплатно. Вы ошибаетесь, если вам понравилась программа, вы должны ее купить.

Я думаю, что работающую версию логично брать на оф. сайте. За деньги, естественно.
Если вопрошающий хочет чего-то другого, то об этом можно было бы спросить более явно. Например, я пиратить никого не призываю (призываю изначально ориентироваться на бесплатное ПО в виде пакетов для R, в том числе pROC), но если очень нужно, то можно ведь настроить виртуалку, поставить триальную версию и повторять эту процедуру каждые 15 дней (каждый раз ставить на свежую виртуальную машину).

3. О модуле нейросети в программе Statistica вы, скорее всего, тоже ничего не знаете. Если я ошибаюсь, ответьте на вопрос, какие ROC кривые и для чего можно построить именно в этом модуле этой программы. Новые знания приветствуются на форуме, мы тут все учимся.

Не знаю. Но если автор работает "без функции neuronal network", могу предположить, что нейросети он не обучает и при помощи ROC-кривых оценивает качество каких-то совсем других моделей для классификации. А если есть модель и есть количества ложноположительных и ложноотрицательных результатов (confusion matrix), то ROC-кривые можно строить в чем угодно, хоть от руки на бумаге.

Сообщение отредактировал ogurtsov - 30.01.2016 - 14:15

[tugashenko@yande...]

 построить_ROC_кривую.pdf ( 273,61 килобайт ) Кол-во скачиваний: 468
Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее



Сообщение отредактировал tugashenko@yandex.ru - 12.05.2016 - 15:40

[Statzilla]

 построить_ROC_кривую.pdf ( 273,61 килобайт ) Кол-во скачиваний: 468
Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее

Добрый день!

ROC и AUC являются мерами качества при измерении / предсказании / скрининге качественного показателя (например, есть рак или нет рака).
Вы измеряете концентрацию IgM - это количественный показатель.
Соответственно, для вашей задачи (по крайней мере, согласно тому, что указано в выложенном Вами pdf), ROC-кривая неприменима.


Сообщение отредактировал Statzilla - 12.05.2016 - 16:24

[p2004r]

 построить_ROC_кривую.pdf ( 273,61 килобайт ) Кол-во скачиваний: 468
Прошу Вас помочь с построением ROC-кривой. На предзащите сказали, что необходимо материал дополнить РОК-кривой. Я почитала информацию в интернете и не поняла как можно это спроецировать на мои данные. Высылаю один кусок на форум. Может кто-то сможет мне помочь. Времени очень мало. Спасибо заранее

Это метрологическая задача

Вот например пакет с функциями для лабораторной метрологии где много ссылок на методы и стандарты https://cran.r-project.org/web/packages/metRology/index.html .

А вообще понятно, что каждая пробирка имеет одинаковый уровень, все три метода в чем то врут. Если они имеют только систематическую устранимую ошибку, то все точки в трехмерном пространстве соответствующие пробирко-дням лежат на гладкой кривой (в идеале вообще прямой). Все что выбивается за эту "систематическую часть" надо относить к "случайной ошибке" и от неё считать точность метода. Для остатков будет по каждой из проекций получаться обычная одномерная статистика.

[sunnylesik]

Здравствуйте!

У меня в четверг предзащита, рецензенты сказали, что нужно дополнить мои результаты анализом выживаемости и ROC-анализом. С анализом выживаемости я разобралась - построила кривые каплана, сравнила между собой. А вот с ROC-кривыми не пойму. Я работаю на Mac и у меня есть программа Wizrd - очень простая. В ней есть такая функция - построить модель по уравнению F=a0 + a1x1+ a2x2 и т.д. При выборе в качестве функции бинарного параметра (закодированного 0 или 1), программа строит ROC-кривые. Насколько это вообще может быть использовано мной? или нужно искать более нормальные программы? В качестве функции я взяла параметра времени ремиссии более 2-х лет (0) и менее 2-х лет (1). Зависимость от сердечного индекса. AUC при этом более 0,7 - это хорошо. Я нашла порог отсечения (читала про него в интернете) - он оказался 0,08. И теперь не могу понять, что мне с этим всем делать - с кривой, с порогом отсечения. Я понимаю, что вопрос мой достаточно глупый (читала столько умных постов здесь). Но я уже несколько часов пытаюсь понять что же мне делать и что-то от меня явно ускользает Я понимаю что такое специфичность, что такое чувствительность метода. Понимаю на основании чего строится график. Но как это применить к своим результатам и зачем мне это нужно понять никак не могу.
Если кто-то откликнется - буду очень признательна. До апробации 3 дня и я в отчаянии )

[100$]

Здравствуйте!

У меня в четверг предзащита, рецензенты сказали, что нужно дополнить мои результаты анализом выживаемости и ROC-анализом. С анализом выживаемости я разобралась - построила кривые каплана, сравнила между собой. А вот с ROC-кривыми не пойму. Я работаю на Mac и у меня есть программа Wizrd - очень простая. В ней есть такая функция - построить модель по уравнению F=a0 + a1x1+ a2x2 и т.д. При выборе в качестве функции бинарного параметра (закодированного 0 или 1), программа строит ROC-кривые. Насколько это вообще может быть использовано мной? или нужно искать более нормальные программы? В качестве функции я взяла параметра времени ремиссии более 2-х лет (0) и менее 2-х лет (1). Зависимость от сердечного индекса. AUC при этом более 0,7 - это хорошо. Я нашла порог отсечения (читала про него в интернете) - он оказался 0,08. И теперь не могу понять, что мне с этим всем делать - с кривой, с порогом отсечения. Я понимаю, что вопрос мой достаточно глупый (читала столько умных постов здесь). Но я уже несколько часов пытаюсь понять что же мне делать и что-то от меня явно ускользает Я понимаю что такое специфичность, что такое чувствительность метода. Понимаю на основании чего строится график. Но как это применить к своим результатам и зачем мне это нужно понять никак не могу.
Если кто-то откликнется - буду очень признательна. До апробации 3 дня и я в отчаянии )

В моделях бинарного выбора (когда зависимая переменная принимает два значения - 0 и 1) отмоделировать такую ситуацию можно лишь тремя моделями: логит - моделью, пробит - моделью и гомпит - моделью. Применительно к данному случаю величину F=a0+a1x1+... нужно еще засунуть в формулу для расчета вероятности наступления события. Если Wizrd делает именно так, то хорошо, если нет - то все это легко загугливается и при желании за 5 минут оценивается в Экселе: там нужно напротив ячеек с "0" и "1" внести формулу расчета вероятности этого события, составить логарифм функции правдоподобия как простую сумму этих значений и найти оптимальное параметры с помощью "решателя" (надстройка "Поиск решения"("Solver")). Так что за три дня точно управитесь.

Упомянутые сигмоиды (графики логита, пробита и гомпита) пересекают ось ординат в точке 0.5. Соответственно, порог отсечения вряд ли может быть ,08.
Шаманизм с ROC-кривой нужен для более точной настройки вашей модели. Это- попытка повысить качество распознавания бинарного классификатора.

Сообщение отредактировал 100$ - 24.05.2016 - 11:45

[drevgen]

Вариант решения может быть. Кривые РОК строятся не только по бинарным данным. Если быстро - пробуйте скачать либо Winpepi (возможно есть под MAC) либо Attestat (пристройка к Еxcell). Принцип построения кривой РОК для показателя в них в принципе одинаков. Надо свои уровни иммуноглобулинов подставить в виде ряда данных, но напротив каждого измерения отметить его истинный результат - т.е. патология есть (краснуха или что) или нету, в виде + или -, 0 или 1. Но эти "+ -" должны отражать ваши реальные измерения. Если вы измеряли уровень только у заведомых больных, то извиняюсь, тогда это анализ чувствительности метода, т. е. метрологическая задача, никакая рок кривая там не строится.
WInPEPi вкладка Describe секция L (подсекция L4 Apprasal of use) попробуйте там, можно даже сравнить две кривые.