Оценка площади ROC кривой |
Здравствуйте, гость ( Вход | Регистрация )
Оценка площади ROC кривой |
10.06.2008 - 11:28
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
Вот только что рассылка BMC за июнь пришла. Работа хоть не совсем по теме, но близко. А может, и более общий случай - сравнение статистических объектов, но не первичных статистических данных, а некоторым образом на основе первичных данных построенных.
Метод - Манн-Уитни. StAR: a simple tool for the statistical comparison of ROC curves Vergara I, Norambuena T, Ferrada E, Slater A, Melo F BMC Bioinformatics, 2008 9:265 (5 June 2008) Abstract http://www.biomedcentral.com/1471-2105/9/265/abstract Provisional PDF http://www.biomedcentral.com/content/pdf/1471-2105-9-265.pdf Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
10.06.2008 - 22:15
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
Это действительно не совсем по теме. Анализ ROC - кривых позволяет оценить возможности количественной переменной как классификатора в два класса (больной - здоровый). В медицинских исследованиях используется для разработки диагностических тестов по количественным переменным. Качество классификатора оценивается по прощади под кривой, чем больше, тем лучше. Если переменных несколько, то при сравнении кривых выбирается лучшая. Statistica 7 вообще не имеет такой возможности, SPSS 13, на сколько я знаю (на кнопочном уровне ) ROC дан только в графическом модуле, и анализируется только одна кривая. Выводится значение площади, уровень значимости и значение чувствительности и специфичности в каждой точке измерения. Оптимальную точку нужно находить самим из таблицы чувствительности и 1-специфичность. Маленькая, скромная программа MedCalc в демо версии тоже это сделает, а не в демо проведет сравнение нескольких кривых, в табличке пометит значение переменной при которой соотношение чувствительности и специфичности оптимально.
Не первичные данные тоже могут использоваться как классификаторы (набранные баллы, индексы, вероятности). Если есть примеры, можно в отдельной ветке обсудить. Полезная штука для медицинских исследований. |
|
11.06.2008 - 09:17
Сообщение
#3
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
А чего там обсуждать-то? Открываем ссылку http://www.basegroup.ru/library/analysis/r...ssion/logistic/ с обещанным продолжением http://www.basegroup.ru/library/practice/l..._medic_scoring/. Изучаем. А как две ROC кривых статистически сравнить, в моем предыдущем посте ссылка.
Statistica 7 вообще не имеет такой возможности ... Жалко как. Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
11.06.2008 - 17:01
Сообщение
#4
|
|
Группа: Пользователи Сообщений: 1325 Регистрация: 27.11.2007 Пользователь №: 4573 |
У меня не получилось по вашей ссылке получить по своми данным ROC, ошибка на странице.
А здесь все хорошо работает: http://www.rad.jhmi.edu/jeng/javarad/roc/JROCFITi.html |
|
11.06.2008 - 19:57
Сообщение
#5
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
У меня не получилось по вашей ссылке получить по своми данным ROC, ошибка на странице. А здесь все хорошо работает: http://www.rad.jhmi.edu/jeng/javarad/roc/JROCFITi.html Ссылка не моя, а BMC. Об ошибках Вы можете сообщить авторам программы - они, в отличие от иных известных компаний, скорее всего, будут Вам благодарны. Не исключено, впрочем, что это ошибка машины Java, установленной на Вашем компьютере. Если это необходимо, последнюю версию машины Java можно взять на сайте компании Sun. Сам ссылки на программы не проверял и не собираюсь, т.к. меня они не интересуют - предпочитаю составлять программы самостоятельно на языке Си. А вот алгоритмы посмотреть интересно. Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
13.06.2008 - 16:05
Сообщение
#6
|
|
Группа: Пользователи Сообщений: 1013 Регистрация: 4.10.2006 Пользователь №: 1933 |
Это действительно не совсем по теме. Анализ ROC - кривых позволяет оценить возможности количественной переменной как классификатора в два класса (больной - здоровый). В медицинских исследованиях используется для разработки диагностических тестов по количественным переменным. Качество классификатора оценивается по прощади под кривой, чем больше, тем лучше. Если переменных несколько, то при сравнении кривых выбирается лучшая. Statistica 7 вообще не имеет такой возможности, Для SAS есть модуль сравнения кривых и нахождения точек разделения, с-статистика в PROC LOGISTIC есть не что иное, как AUC. В R есть тоже соответствующий модуль Если же не хочется переходить на SAS или R, то есть простое решение: Статистика U критерия Мэнна-Уитни и есть (непараметрическая) оценка AUC (Точнее, U'/(n1*n2) - при этом U должно быть большим - т.е. если оно для меньшей, то U'=n1*n2-U). А далее так: Q1 = AUC / (2 - AUC); Q2 = 2 * AUC^2 / (1 + AUC); se2 = (AUC * (1 - AUC) + (N1 - 1) * (Q1 - AUC^2) + (N2 - 1) * (Q2 - AUC^2)) / (N1 * N2); SE_auc = squareRoot (se2); (исходный код см. https://list.scms.waikato.ac.nz/pipermail/w...ry/002113.html) Понятно, что коды групп, определяющие группы в МУ - это болен пациент или здоров. |
|
18.06.2008 - 11:42
Сообщение
#7
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
Для SAS есть модуль сравнения кривых и нахождения точек разделения, с-статистика в PROC LOGISTIC есть не что иное, как AUC. В R есть тоже соответствующий модуль Если же не хочется переходить на SAS или R, то есть простое решение: Статистика U критерия Мэнна-Уитни и есть (непараметрическая) оценка AUC (Точнее, U'/(n1*n2) - при этом U должно быть большим - т.е. если оно для меньшей, то U'=n1*n2-U). А далее так: Q1 = AUC / (2 - AUC); Q2 = 2 * AUC^2 / (1 + AUC); se2 = (AUC * (1 - AUC) + (N1 - 1) * (Q1 - AUC^2) + (N2 - 1) * (Q2 - AUC^2)) / (N1 * N2); SE_auc = squareRoot (se2); (исходный код см. https://list.scms.waikato.ac.nz/pipermail/w...ry/002113.html) Понятно, что коды групп, определяющие группы в МУ - это болен пациент или здоров. Спасибо. Очень интересная и полезная информация. Добавлю, что в указанном посте упоминается статья Hanley, McNeil. Она доступна бесплатно по ссылке http://radiology.rsnajnls.org/cgi/reprint/148/3/839.pdf. Замечу, что логистический анализ и ROC есть также в бесплатной программе AtteStat, начиная с версии 8.2.5. При изучении множественного логистического анализа наткнулся на одну несуразицу. Модель фактически строится в предположении порога отсечения 0,5. На эту мысль натолкнула данная работа http://www.vestnik.vsu.ru/pdf/econ/2005/01/davnis.pdf. И это действительно так. А применяется логистическая модель для порога отсечения, обычно отличного от 0,5 - например, с оптимальными в том или ином смысле порогами отсечения. Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|
3.10.2009 - 14:20
Сообщение
#8
|
|
Группа: Пользователи Сообщений: 1 Регистрация: 3.10.2009 Пользователь №: 6403 |
У меня ссылки почему то вообще не работают
|
|
3.10.2009 - 15:21
Сообщение
#9
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
|
|
3.10.2009 - 16:31
Сообщение
#10
|
|
Группа: Пользователи Сообщений: 1114 Регистрация: 10.04.2007 Пользователь №: 4040 |
У меня ссылки почему то вообще не работают Ссылки, даваемые авторами постов, работоспособны на момент составления поста. Если хозяин документа через некоторое время удалил документ или поменял ссылку ввиду оптимизации сайта, то автор поста не несет за это ответственности и не обязан просматривать все свои прежние посты. Именно поэтому, полагаю, ссылку нужно давать не просто в виде URL, а в форме, принятой в том или ином (неважно, в каком) библиографическом стандарте, а уже затем помещать URL электронного ресурса. По крайней мере шансов найти нужный документ будет гораздо больше. Впрочем, мы собрали для Вас всю информацию и необходимые ссылки в том виде, в каком они должны быть. Загрузите бесплатное программное обеспечение AtteStat - в разделах справочной системы "Непараметрическая статистика ..." и "Распознавание образов ..." (логистический анализ) приведена исчерпывающая информация по рассматриваемой теме (думаю, максимум из того, что можно найти на русском языке), в том числе все доступные ссылки на [бесплатные] электронные ресурсы. Сообщение отредактировал Игорь - 3.10.2009 - 17:25 Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
|
|