Подскажите, пожалуйста! В своей работе я сравниваю диагностические показатели трех различных диагностических тестов в диагностике одного заболевания. Для каждого теста в различный временные интервалы от начала заболевания посчитаны чув-ть, спец-ть, диагностическая точность и др. Как можно посчитать достоверность различий в чувствительности (специфичности) этих трех тестов и можно ли вообще это сделать? Как вообще оценить достоверность различий сравниваемых тестов, если они все имеют качественное представление (то есть измерены качественно).
paravoz
6.11.2013 - 18:58
Как определить точное значение p, я честно говоря не знаю, но можно их сравнить с помощью доверительных интервалов.
http://statpages.org/ctab2x2.htmlВот онлайн калькулятор который позволяет на заданном доверительном уровне (как правило - 95) расчитать доверительные интервалы для чувствительности, специфичности и еще большого количества показателей.
А уж как принять или отвергнуть нулевую гипотезу на конкретном уровне значимости с помощью доверительных интервалов это другой вопрос. На форуме много раз об этом писалось, но уж если очень надо, то могу повториться?!
Цитата(paravoz @ 6.11.2013 - 19:58)

Как определить точное значение p, я честно говоря не знаю, но можно их сравнить с помощью доверительных интервалов.
http://statpages.org/ctab2x2.htmlВот онлайн калькулятор который позволяет на заданном доверительном уровне (как правило - 95) расчитать доверительные интервалы для чувствительности, специфичности и еще большого количества показателей.
А уж как принять или отвергнуть нулевую гипотезу на конкретном уровне значимости с помощью доверительных интервалов это другой вопрос. На форуме много раз об этом писалось, но уж если очень надо, то могу повториться?!
Спасибо! Я на форуме впервые, поэтому , если несложно, то напишите суть, чтоб я могла сориентироваться.
paravoz
6.11.2013 - 19:23
Цитата(Элла @ 7.11.2013 - 00:04)

Спасибо! Я на форуме впервые, поэтому , если несложно, то напишите суть, чтоб я могла сориентироваться.
Доверительный интервал, попросту говоря, это промежуток в котором с заданной доверительной вероятностью (обычно 95%) находится показатель (в вашем случае это специфичность, чувствительность и т.д.).
Для начала вы расчитываете с помощью калькулятора чувствительность, специфичность и доверительные интервалы (Conf. Interval) для них при каждом методе исследования. Затем сравниваете эти интервалы друг с другом. Если они не перекрываются, то есть не включают значения друг друга, то можно сказать что показатели статистически значимо отличаются друг от друга. Если при расчете вы оставите доверительный уровень (Confidence Level) равным 95%, то ваше значение-p будет <0,05 чего как правило достаточно.
Если же интервалы перекрываются то значение-p будет >0,05.
Изъснился как мог. Можете выложить свои цифры в виде таблички 2*2 попробуем расчитать.
Цитата(paravoz @ 6.11.2013 - 19:58)

Как определить точное значение p, я честно говоря не знаю, но можно их сравнить с помощью доверительных интервалов.
http://statpages.org/ctab2x2.htmlВот онлайн калькулятор который позволяет на заданном доверительном уровне (как правило - 95) расчитать доверительные интервалы для чувствительности, специфичности и еще большого количества показателей.
А уж как принять или отвергнуть нулевую гипотезу на конкретном уровне значимости с помощью доверительных интервалов это другой вопрос. На форуме много раз об этом писалось, но уж если очень надо, то могу повториться?!
Я на форуме впервые, поэтому напишите , пожалуйста, коротко, чтоб я могла сориентироваться
paravoz
6.11.2013 - 19:54
К примеру у вас есть чувствительность 0,93 и доверительный интервал от 0,87 до 0,96. Это значит, что если проводить ваш эксперимент на других людях, то в 95% случаев чувствительность будет находится в интервале от 0,87 до 0,96.
Если у вас есть два показателя чувствительности с доверительными интервалами: 0,93 [0,87;0,96] и 0,81 [0,78;0,85], то как видно из интервалов они не перекрываются (один заканчивается на 0,85, а другой начинается только на 0,87), то можно сказать что чувствительности двух тестов статистически значимо отличаются при p<0,05.
В случае если у вас, например: 0,93 [0,87;0,96] и 0,85 [0,81;0,88], то такие интервалы перекрываются (то есть имеют общие значения 0,87 и 0,88), то в таком случае чувствительности тоже статистически значимо отличаются, но p>0,05.
Вам нужно только с помощью калькулятора посчитать доверительные интервалы и посмотреть перекрываются они или нет, и делать соответствующие выводы.
Цитата(Элла @ 6.11.2013 - 03:40)

Подскажите, пожалуйста! В своей работе я сравниваю диагностические показатели трех различных диагностических тестов в диагностике одного заболевания. Для каждого теста в различный временные интервалы от начала заболевания посчитаны чув-ть, спец-ть, диагностическая точность и др. Как можно посчитать достоверность различий в чувствительности (специфичности) этих трех тестов и можно ли вообще это сделать? Как вообще оценить достоверность различий сравниваемых тестов, если они все имеют качественное представление (то есть измерены качественно).
Сравнение через ДИ возможно, но оно будет обладать существенно меньшей мощностью, чем сравнение с помощью критериев, т.е. будет завышена вероятность не обнаружить различия там где они реально есть. При расчёте ДИ для каждой группы отдельно задействуется только часть имеющейся информации, тогда как при сравнении с помощью критериев возможно учесть её всю. Поэтому сравнения посредством ДИ лучше делать когда у вас нет оригинальных данных и вы не можете вычислить необходимые для сравнения частоты - такое возможно при сравнении собственных данных с опубликованными. А вообще, чувствительность - это
доля верно распознанных больных, поэтому имеем полное право обрабатывать её как и любую другую долю. И специфичность - доля.
1) Если Ч и С рассчитывались на разных группах пациентов - сравните их хи-квадратом. Т.о. в первой колонке таблицы будут верно распознанные больные, во второй - неверно распознанные больные. В строках - диагностические методы. Получится таблица сопряжённости 2 х n, где n - число методов. Аналогично со специфичностью для верно/неверно распознанных здоровых. Если хи-квадрат покажет значимость различий далее следует смотреть за счёт каких ячеек таблицы она проявилась; это делается с помощью расчёта отклонений Фримана-Тьюки или стандартизованных остатков Хабермана.
2) Если Ч и С методов определялись на материале одних и тех же пациентов параллельно - сравните их как зависимые частоты: тестами на симметрию типа Бокера или Максвела.
3) Если результаты диагностических тестов представлены измерениями, можно сравнить Ч и С посредством сравнения ROC-кривых. Этот тест будет обладать ещё большей мощностью, т.к. объединяет и Ч и С в одном показателе - AUC (площадь под ROC-кривой - Area Under Curve).
paravoz
6.11.2013 - 20:23
Цитата(nokh @ 7.11.2013 - 01:04)

Сравнение через ДИ возможно, но оно будет обладать существенно меньшей мощностью, чем сравнение с помощью критериев, т.е. велика вероятность не обнаружить различия там где они реально есть. При расчёте ДИ для каждой группы отдельно задействуется только часть имеющейся информации, тогда как при сравнении с помощью критериев возможно учесть её всю.
Здесь я полностью согласен.
Цитата(nokh @ 7.11.2013 - 01:04)

Т.о. в первой колонке таблицы будут верно распознанные, во второй - неверно распознанные. В строках - диагностические методы. Получится таблица сопряжённости 2 х n, где n - число методов. Аналогично со специфичностью.
А здесь, наверное, надо уточнить. В случае с чувствительностью в первую колонку необходимо вносить истино положительные, а во вторую - ложно отрицательные. А в случае со специфичностью первая колонка - истино отрицательные, вторая - ложно положительные. Вроде не запутался

.
Ведь если мы будем вставлять в колонки верно и неверно распознанные, то мы оценим только точность (Accuracy) диагностических методов, но никак не чувствительность и специфичность, не так ли? Конечно могу ошибаться, но самому для понимания важно. Прокоментируйте пожалуйста.
Цитата(paravoz @ 6.11.2013 - 23:23)

А здесь, наверное, надо уточнить. В случае с чувствительностью в первую колонку необходимо вносить истино положительные, а во вторую - ложно отрицательные. А в случае со специфичностью первая колонка - истино отрицательные, вторая - ложно положительные. Вроде не запутался

.
Ведь если мы будем вставлять в колонки верно и неверно распознанные, то мы оценим только точность (Accuracy) диагностических методов, но никак не чувствительность и специфичность, не так ли? Конечно могу ошибаться, но самому для понимания важно. Прокоментируйте пожалуйста.
ОК, я поправил свой неудачный текст выше чтобы не было путаницы. Для Ч не просто верно/неверно распознанные, а верно распознанные БОЛЬНЫЕ. Соответственно для специфичности - верно/неверно распознанные ЗДОРОВЫЕ.
Ох, покоя мне нет. Дело в том, что у меня защита уже через месяц , а я тут занимаюсь самокопанием и вижу, что не все идеально в работе. Спасибо за ответы. Конечно, ничего этого я не считала, считала диагностические показатели (чув-ть, спец-ть, диагностич. точность, полож. и отриц. прогностическую ценность) иссдледуемого диагностического теста и СРАВНИВАЛА его с "золотым стандартом" , а также еще двумя тестами в разные временные интервалы от начала клинической картины заболевания. Также проведен ROC-анализ, но насколько он грамотен...не знаю. Мой тест - качественный, а отсальные (с которыми сравнивала) - количественные. Для количественных строили РОК-кривые, а для качественного теста такого невозможно как я понимаю сделать. На графиках ему соответствует только 1 точка (разделения чув-ти и спец-ти), и косвенно можно судить лишь по области , которую можно достроить.
Ни у кого вопросов не возникало, а я до меня только сейчас начинает доходить(
paravoz
7.11.2013 - 02:18
Цитата(nokh @ 7.11.2013 - 01:42)

ОК, я поправил свой неудачный текст выше чтобы не было путаницы. Для Ч не просто верно/неверно распознанные, а верно распознанные БОЛЬНЫЕ. Соответственно для специфичности - верно/неверно распознанные ЗДОРОВЫЕ.
Значит я в верном направлении мыслю.
Цитата(Элла @ 7.11.2013 - 02:28)

Мой тест - качественный, а отсальные (с которыми сравнивала) - количественные.
А что значит тест - качественный, а что значит количественный? Качественный это результат которого может быть грубо говоря болен или здоров? Количественный - дающий результат в виде значения из какого-то диапазона, а потом с помощью порогового значения определяется болен или здоров? Так что-ли? Ну тогда ROC-анализ и там и там должен выглядеть в виде кривой, там ведь чувствительность и специфичность откладывается, а не варианты значения диагностического теста. Расскажите, пожалуйста, что у вас были за диагностические тесты и "золотой стандарт".
Качественный тест дает ответ "да" или "нет", то есть есть заболевание или нет. Количественный - по определенному результату (численному) и установленному референтному значению (порогу) определяется таке болен человек или здоров. "Золотой стандарт" - это зарекомендовавший себя в клинической практике тест, с которым сравниваются все остальные.
Нет, получается в каждый временной интервал (допустим, через 2 часа от начал клинической симптоматики) соответствует не кривая, а только 1 точка. Нет возможности построить кривую.
anserovtv
9.11.2013 - 15:10
Цитата(Элла @ 7.11.2013 - 09:30)

Качественный тест дает ответ "да" или "нет", то есть есть заболевание или нет. Количественный - по определенному результату (численному) и установленному референтному значению (порогу) определяется таке болен человек или здоров. "Золотой стандарт" - это зарекомендовавший себя в клинической практике тест, с которым сравниваются все остальные.
Нет, получается в каждый временной интервал (допустим, через 2 часа от начал клинической симптоматики) соответствует не кривая, а только 1 точка. Нет возможности построить кривую.
Можно строить ROC-кривые и для качественного теста болен-здоров /в среде SPSS.(см. прикрепленные файлы).
ROC-кривую можно построить и вручную (по формулам).
Но чаще в ROC -анализе работают с вероятностями, а не с результатами измерений.
Автор почему-то очень плохо описывает структуру своих данных.
Я не понял из его сообщений , нужно ли применять и, если нужно, то почему не применяется логистическая регрессия?( и только затем ROC-анализ!!).
Обычно, сравнивая площади под кривой, можно выбрать лучший тест (или сравнить данный тест с эталоном).
При этом программа проверяет значимость каждого классификатора (теста) - если известна истинная классификация.
Также можно проверить значимость различий
двух тестов. При большем числе сравнений нужно вводить поправки.
Как вариант дальнейшего исследования можно сравнить доверительные интервалы площадей под кривой для разных тестов/генерируются программой SPSS/.
В медицине часто выбирается самый дешевый диагностический тест из нескольких относительно лучших.
Мне было бы интересно проверить качество "золотого стандарта".
Нашел в интернете материал по данной теме со ссылками на старую книгу "Статистические методы исследования в медицине и здравоохранении," / Под ред. Л.Е. Полякова - Л.: Медицина, 1971. "
http://cgm.computergraphics.ru/В нем предлагается проверять значимость отличий двух классификаторов следующим образом:
провести тестирование по обоим тестам одной и той же достаточно большой группы испытуемых. Разбить эту группу испытуемых на достаточное число подгрупп.
Для каждой подгруппы сосчитать число ошибок ( первого (FN) или второго рода (FP) или их суммы - что важнее) для каждого теста.
Затем для проверки значимости различий результатов тестирования сравнить средние с помощью t-критерия для парных выборок.
Почему при этом выполняются необходимые условия применения t-критерия: положительная корреляция и нормальность распределений - я не совсем понимаю.
Мое мнение: данный подход устарел.
Да, я возможно не так хорошо разобралась в ROC-анализе, поэтому и задавала тут вопросы. Но мне многое остается непонятным. Для тестов, имеющих количественное выражение, ROC-кривые построены, оценена AUC, а для качественного теста нет. Свои данные согласовывала со статистиками из МГУ. Они подтвердили, что построение ROC-кривой невозможно для качесвенного теста. Даже не знаю, в каком ключе продолжить общение на форуме, потому что не могу общаться с вами на одном уровне по степени знания статистики.
anserovtv
10.11.2013 - 21:46
В случае идеальной полной (100%) предсказательной (диагностической) способности "качественного" теста площадь под кривой равна 1, асимптотическая значимость 0,004!!!
ROC -кривая может быть построена. ROC-кривую можно построить и вручную (по формулам).
В данном случае кривая является ломаной с двумя звеньями (на чертеже выделена синим цветом). См. прикрепленные файлы.
А Вы можете показать мне на примере моих данных, как построить кривую? Что для этого нужно? выборка у меня состоит из 100 человек, у каждого из них я оценивала показатели качественного теста "болен/здоров" в 3 различных временных интревалах от начала заболевания. и в каждый из этих интервалов должен быть проведен рок-анализ, потому как диагностическая ценнность теста меняется в зависимости от времени.
anserovtv
10.11.2013 - 23:31
В случае нулевой (0%) предсказательной (диагностической) способности "качественного" теста площадь под кривой равна 0, асимптотическая значимость 0,001!!!(т.е. площадь значимо меньше 0,5)
ROC -кривая снова может быть построена! ROC-кривую можно построить и вручную (по формулам).
В данном случае кривая снова является ломаной линией из двух звеньев (на чертеже выделена синим цветом - правая и нижняя стороны квадрата.).
Данные результаты и следовало ожидать.
См. прикрепленные файлы.
для Элла В принципе могу. Пишите лично.
Нужны данные в столбцах (желательно с метками переменных и значений и комментариями) в формате SPSS или Excel.
anserovtv
11.11.2013 - 08:44
В случае 50% предсказательной (диагностической) способности "качественного" теста (и если данные полностью симметричны!!) площадь под кривой равна точно 0,5, асимптотическая значимость равна точно 1. ROC-кривая снова может быть построена - два отрезка , лежащие на диагонали квадрата.
Если данные не обладают полной симметрией, то площадь практически равна 0,5, значимость практически равна 1, ломаная практически лежит на диагонали.
Данные результаты и следовало ожидать. ROC-кривую можно построить вручную (по формулам).
Замечу, что в случае качественного теста болен-здоров ROC-кривая всегда является ломаной линией , состоящей из двух звеньев (отрезков).
См. прикрепленные файлы.
anserovtv
14.11.2013 - 16:06
[А Вы можете показать мне на примере моих данных, как построить кривую?']
Все вычисления выполнены. Все результаты - хорошие. Все значимости на уровне 0,000.
Удалось выполнить и попарные сравнения качественных тестов, всех других тестов.
Удалось проанализировать и интерпретировать соотношения ДИ площадей.
Ваши данные могут быть проанализированы и еще более содержательно.
Вам полезно научиться строить ROC-кривые и вручную, я - умею (и для вероятностей и для результатов измерений).
DrgLena
15.11.2013 - 00:42
Цитата(Элла @ 6.11.2013 - 22:28)

Ох, покоя мне нет.
И мне тоже. Хотела пропустить обсуждение этой ветки, поскольку в самом начале pfrovoz и nokh дали вам правильный, на мой взгляд, совет сравнить тесты по чувствительности и специфичности.
Цитата(Элла @ 6.11.2013 - 22:28)

Мой тест - качественный, а отсальные (с которыми сравнивала) - количественные. Для количественных строили РОК-кривые, а для качественного теста такого невозможно как я понимаю сделать. На графиках ему соответствует только 1 точка (разделения чув-ти и спец-ти), и косвенно можно судить лишь по области , которую можно достроить.
Совершенно верно. Качественные тесты также имеют чувствительность и специфичность , а также могут характеризоваться показателем, который включает в себя и чувствительность и специфичность (отношение правдоподобия для положительного теста).
Построение ROC кривых для такого рода тестов не имеет никакого смысла. Никакой новой информации, кроме перечисленных выше операционных характеристик эти кривые не дадут. Идея ROC кривых состоит в том, что можно выбирать точки разделения таким образом, чтобы находить компромисс между чувствительностью и специфичность в зависимости от приоритетов диагностики. Поэтому можно сочетать несколько тестов для достижения большей диагностической способности.
Если построить ROC кривую для бинарного признака, как это продемонстрировал anserovtv, то она не будет в каждой своей точке отражать чувствительность и специфичность. Очевидно, в ваших данных было цифровое кодирование значения теста, типа 0 и 1 и программа SPSS просто была введена в заблуждение . Если использовать символьные кодировки типа ?кашель имеется? и ?кашель отсутствует? или a и b, то умная программа напишет, что insufficient data for ROC или string variables are not allowed in the list.
Цитата(anserovtv @ 14.11.2013 - 17:06)

Все вычисления выполнены. Все результаты - хорошие. Все значимости на уровне 0,000.
Все значимости на уровне нуля. Нельзя не согласиться.
Цитата(anserovtv @ 14.11.2013 - 17:06)

Вам полезно научиться строить ROC-кривые и вручную, я - умею (и для вероятностей и для результатов измерений).
Можно, конечно, руками посчитать и чувствительность и специфичность при каждом значении количественной переменной, только вряд ли это полезно. Можно забыть зачем мы ее строим
Спасибо за ответ! Правда меня такие разные мнения дезориентируют слегка:) Про рок-кривые Вы дали такое объяснение, которое мне было до этого близко и понятно. Но, не вполне владея статистикой, я не могла это объяснить как Вы. Абсолютно согласна в том, что РОК-анализ наиболее информативен для количественных показателей, и, что самое главное, он дает много полезной информации в практическом отношении (выбор порога, при котором наиболее оптимально пересекутс чув-ть и спец-ть). НО такова моя работа, что мне надо как-то сравнить качественный тест с количественными!
Да, в моих данных результаты теста представлены как 0 или 1 (то есть да/нет). По идее если можно построить рок-кривую (или прямую), то можно посчитать и площадь под ней. И таким образом, сравнить разные тесты. Но вопрос этот для меня остается открытым.
anserovtv
15.11.2013 - 10:34
Согласен с некоторыми замечаниями. но не со всеми.
Сразу главное: значимости 0000 - читайте внимательно содержание нулевых гипотез, (здесь стандартно оценивались и количественные тесты!).
Вы ставите под сомнение научность исследования автора?
Автор как-то перевел количественные тесты в качественные и хочет их попарно сравнивать.
Конечно, было бы лучше работать со всеми количественными тестами. Но даже в его данных исходной информации по качественным тестам нет.
Я планировал это у него выяснить.
Научиться строить ROC-кривые вручную полезно всем ( и построить их разного рода несколько раз) - чтобы лучше понимать суть метода.
У автора это основной метод исследования , а он им полностью не владеет. Не отсюда ли все его проблемы?
По поводу английского : причина в другом.
Нашел в серьезном научном математическом материале в интернет / дословно/.
ROC -кривые можно строить по любым выборкам.
Я тоже так считаю.
Я и не утверждаю. что данный подход самый правильный и самый научный, но он работает и, по моим данным , корректно.
Как-то не задумывался до этого, что и одну точку можно избразить в ROC-пространстве. Интересно! Полазил в и-нете, посчитал площади ROC-ломаной на бумажке и вот что по этому поводу теперь думаю.
Сравнивать диагностическую эфективность (ДЭ) количественного и качественного теста формально можно двумя способами:
1). Для количественного показателя можно найти на ROC-кривой точку максимальной ДЭ и использовать значение показателя в ней для дихотомизации теста. Т.о. перевести количественный показатель в качественный и сравнить 2 качественных теста методами для этого (см. выше).
2). Как обратил внимание anserovtv, можно для качественного показателя построить подобие ROC-кривой - ROC-ломаную. Интересно, но оказалось, что площадь под ней равна ДЭ, т.е среднему между Ч и С. Если продолжить это направление, то далее просится метод для сравнения площадей под этими ROC-фигурами. А здесь видятся проблемы, причём ещё до каких-либо расчётов. На рис. ниже, я изобразил ROC-кривую для некоего количественного показателя и ROC-ломаную для качественного. Предположим, мы сравниваем непараметрикой, т.е. фактические площади. Чем больше выборка уникальных значений количественного показателя, тем больше обычная ступенчатая ROC-кривая будет приближаться к плавной дуге. Т.о. даже в случае полного совпадения максимальной ДЭ количественного теста и ДЭ качественного теста, площадь под ROC-ломаной будет всегда меньше площади под ROC-кривой: меньше на площадь оранжевых сегментов. Большие ступени на ROC-кривой могут завуалировать эти различия, но качественно это дела не изменит. Т.о. непонятно как сравнивать площади этих двух фигур, если теоретически одна всегда в проигрыше. Если же играться с бинормальными кривыми, то вообще не знаю куда это приведёт, т.к. точка с низкими значениями Ч и С для качественного теста может лечь на бинормальную кривую со значительной площадью под ней; как к этому относиться?
Получается, что подход (1) сопряжён с потерей информации о количественном показателе, но зато мы берём лучшее и самое важное из всей этой информации - максимально возможную ДЭ (будем считать, что Ч и С для нас одинаково важны, здесь это не принципиально). А подход (2) не ведёт никуда, по крайней мере у меня так вышло... А поэтому нет особого смысла строить ROC-ломаную.
Вы имеете в виду сравнить с помощью доверительных интервалов и методом хи-квадрат (в случае перевода количественных величин в качественные)?
Цитата(Элла @ 15.11.2013 - 19:53)

Вы имеете в виду сравнить с помощью доверительных интервалов и методом хи-квадрат (в случае перевода количественных величин в качественные)?
я имел в виду методы сообщения #7
DrgLena
15.11.2013 - 23:02
Цитата(anserovtv @ 15.11.2013 - 10:34)

Вы ставите под сомнение научность исследования автора?
Нет, научность исследования мы здесь не обсуждаем, она имеет с нулевыми гипотезами слабые связи. Я лишь подвергаю сомнению возможность употребления выражения нулевая значимость без указания к чему эта значимость относится, а то действительно можно посчитать, что исследование не значимое.
Gabouniyaorama
28.11.2013 - 15:47
Коллеги, аналогичный вопрос, помогите рассчитать различия в достоверности между тестами:
Есть заболевание Нет заболевания
Тест 1 ПОЛ 133 5
отр 1 115
Тест 2 Пол 113 13
Отр 16 102
anserovtv
13.02.2014 - 08:27
Для того, чтобы окончательно разобраться в данном вопросе. я написал письма в ведущие вузы страны
и видным ученым с просьбой прокомментировать предмет спора.
Не все ответили, почти все написали . что они этим не занимаются, а вопрос достаточно сложен.
На днях я получил ответ от Орлова А.И., профессора МГТУ им. Н. Э. Баумана,
академика Российской академии статистических методов и др.
Профессор Орлов не нашел ошибок в моих рассуждениях и вычислениях.
Всем сомневающимся я предлагаю открыть прикрепленный файл с анализом реальных медицинских данных и убедиться в разумности подхода.
Картинка получается очень отчетливая.
Второй раз предлагаю nokh убрать свое последнее сообщение с грубыми математическими ошибками.
Всем специалистам на форуме, не имеющим математического образования. предлагаю получить его.
Будет меньше математических ошибок, улучшится ваша лексика.
Профессор Орлов А.И. считает . что ROC-анализ устарел. и предлагает для оценки качества классификаторов применять прогностическую силу.
Советую аспирантам применять в анализе данных не калькуляторы с сомнительным качеством , а известные пакеты программ.
Рекомендовал бы использовать и методы ИАД - интеллектуального анализа данных.
Начал изучать платформу Deductor. особенно понравились самоорганизующиеся карты Кохонена.
Анатолий Серов
к.ф.-м.н, доцент ТвГУ
Цитата(anserovtv @ 13.02.2014 - 09:27)

Второй раз предлагаю nokh убрать свое последнее сообщение с грубыми математическими ошибками.
Всем специалистам на форуме, не имеющим математического образования. предлагаю получить его.
Будет меньше математических ошибок, улучшится ваша лексика.
Ох, не зря я вчера начал учить таблицу умножения. Как чувствовал.
Цитата(anserovtv @ 13.02.2014 - 11:27)

Для того, чтобы окончательно разобраться в данном вопросе. я написал письма в ведущие вузы страны
и видным ученым с просьбой прокомментировать предмет спора.
Не все ответили, почти все написали . что они этим не занимаются, а вопрос достаточно сложен.
На днях я получил ответ от Орлова А.И., профессора МГТУ им. Н. Э. Баумана,
академика Российской академии статистических методов и др.
Профессор Орлов не нашел ошибок в моих рассуждениях и вычислениях.
Ну, круто, конечно, всем письма написать... Стольких людей от дел отвлечь! Вместо того, чтобы пояснить читателям форума свою не содержащую ошибок точку зрения. ДОКАЗАТЬ как это делают настоящие математики, а не прибегать к академическим авторитетам, как делают болтуны.
Цитата(anserovtv @ 13.02.2014 - 11:27)

Всем сомневающимся я предлагаю открыть прикрепленный файл с анализом реальных медицинских данных и убедиться в разумности подхода.
Картинка получается достаточно отчетливой.
Второй раз предлагаю nokh убрать свое последнее сообщение с грубыми математическими ошибками.
Всем специалистам на форуме, не имеющим математического образования. предлагаю получить его.
Будет меньше математических ошибок, улучшится ваша лексика.
Во-первых, давайте будем считать. Ни на почту, ни в "личку" никаких
первых предложений удалить сообщение я не получал. Тогда каким образом первое могло стать вторым? Только если человек путает какие-то свои фантазии с реальностью. Или, может, реальность какая-то супермногообразная

... Да и с какой стати я буду удалять свои сообщения только потому, что пользователь форума N 24927 исключительно в своих мыслях с ними не согласен?
Во-вторых... снова будем считать. Моё "
последнее" сообщение в этой ветке - сообщение #25, и оно вообще не содержит никаких расчётов или формул. Это - отсыл к сообщению #7, которое содержит лишь рекомендации по выбору статистических методов, т.е. также не может содержать "грубых математических ошибок". Можно, предположить, что речь идёт о
предпоследнем сообщении #23, в котором я
весьма дружелюбно порассуждал о сомнительности какой-либо пользы от построения изобретённых anserovtv "ROC-ломаных" для альтернативных признаков. Или можно предположить, что речь идёт о каком-то ещё самом-самом последнем моём сообщении, но только в параллельной реальности моего недружелюбного оппонента.
В-третьих, и впрямь, давайте посмотрим "прикрепленный файл с анализом реальных медицинских данных" и убедимся, что у всех качественных признаков почему-то 100%-ная специфичность. Если бы "реальные" данные имели более реальную специфичность (скажем, в районе 70-80%), то картинка была бы такой же, как нарисована у меня в сообщении #23. Как помимо геометрии доказать, что выделенные оранжевым сектора - реальность, а не "грубая ошибка", не знаю. Да и не интересно уже... Впрочем, о каких реальностях мы говорим?
Поскольку у меня нет не только математического образования, но и медицинского, в ответ на ваше предложение могу только предложить вам больше спать и гулять на свежем воздухе. Чтобы не путаться в порядковых величинах (первое-второе, предпоследнее-последнее), и не терять связь с реальностью. Кстати, может заодно заведутся друзья и улучшится ваша грамматика.
anserovtv
16.02.2014 - 14:06
Спасибо за заботу о моем здоровье. Было бы еще лучше меня ни с кем не сравнивать. Ну хоть профессора не тронули. Не волнуйтесь, ученые на меня не обижаются. Очень вежливые ответы.
Согласно вашим рекомендациям вчера отдыхал - ездили с товарищем по зимнику на Великое озеро. Очистили место падения советского военного самолета времен ВОВ.
По существу:не люблю я ничего доказывать - надоело на работе.Тем более некоторым...
Никаких ROC-ломаных я не изобрел, их не существует в принципе. так как каждая ROC-кривая является ломаной линией в смысле евклидовой геометрии на плоскости (если не выполняется искусственное сглаживание) по причине дискретности ряда наблюдений. Когда мы выбираем порог, то совершаем переход от одной вершины ломаной к другой (кроме крайних).
Если ломаная состоит из двух звеньев, то такая вершина всего одна и переход невозможен. Примеры таких ROC-кривых есть в интернете. Могу выставить со ссылками или прислать.
В вашем "чертеже" ничего, кроме того, что один тест лучше другого, нет.
Вы пишите. что не знаете как сравнивать площади двух фигур, а я почему-то знаю. изучал все это в начальной школе, могу и вас научить: площади двух и более фигур можно сравнить с помощью числовых значений величин площадей данных фигур при одной и той же единице измерения- квадрате со стороной единица. Есть и нечисловой метод (дочисловой этап) - наложением фигур.
Если у вас не пропал интерес, то попробуйте построить ROC-кривую и оценить тип графика в этом частном случае по информации , содержащейся в этой
цитате:
Для идеального классификатора график ROC-кривой проходит через верхний левый угол, где доля истинно положительных случаев составляет 100% или 1.0 (идеальная чувствительность), а доля ложно положительных примеров равна нулю.http://www.basegroup.ru/library/analysis/r...ssion/logistic/ Такое же утверждение содержится и в книге под редакцией Орловой И.В."Многомерный статистичекий анализ..." на стр .74 и многих других.
Могу дать и подсказку к решению
Лучший случай - это кривая, проходящая через точки (0;0), (0;1), (1;1) .http://www.machinelearning.ru/wiki/index.p...itle=ROC-кривая.
Ответ я нашел и в интернете. в нем ROC-кривая обозначена пунктирной линией. Как вы думаете, что это за линия?
На форуме пока этот чертеж выставлять не буду . Конечно. я могу и сам построить, даже с моими математическими способностями.
В интернете есть и другие примеры таких ROC-кривых , в том числе и лежащих на опорной линии (диагонали квадрата) с различным положением вершины и др.
http://en.wikipedia.org/wiki/Receiver_oper..._characteristicВсем удачи!
Анатолий Серов
г. Тверь
DrgLena
16.02.2014 - 17:29
12.07.2008 - 16:38
Сообщение #37
Большое спасибо, плав, DrgLena!
Теперь о ROC анализе понятно всё.
Полное совпадение.
Действительно, поиск на форуме странно работает. Старожилы форума знают, что ROC мы считали и руками и в SAS, NCSS, STATA, MedCalc и даже была написана собственная (Игорем) еще 6 лет назад.
Странно выглядят усилия доказать, известные вещи. Возможно, в математике прямая, частный случай кривой, (о чем нам поведает 100$, когда перейдет к геометри после изучения таблицы умноження

но тогда, и в медицине болезь ? частный случай здоровья. Но все же будьте здоровы!
Над математикой -есть только философия. И мы все ожидаем, что с увеличением количества информации, наступит, наконец и новое качество. Но, при использовании в ROC анализе бинарных признаков ничего нового мы не узнаем, хотя построить, конечно можно, но не нужно.
Цитата(DrgLena @ 16.02.2014 - 18:29)

(о чем нам поведает 100$, когда перейдет к геометри после изучения таблицы умноження

Вот за что люблю Лену, так это за энциклопедичность познаний, универсальность мышления и обаяние интеллекта

Желаю поведать миру только это.
anserovtv
19.02.2014 - 08:34
Ну вот куда-то ваш друг пропал!
Не иначе как заблудился в Мире Своих Математических Фантазий, бедолага! Ау!
Начал читать работы проф. А.И.Орлова, связанные с прогностической силой.
http://www.bmstu.ru/ps/~orlov/fileman/down...диагностики.pdfКак я понял . метод применяется только в условиях дискриминантного анализа и есть жесткие ограничения: многомерная нормальность, равенство ковариационных матриц.
Вычисляются и доверительные интервалы. Сами вычисления не очень сложны.
Возможно, есть смысл создать скрипт в среде SPSS или др. для проверки корректности и всех вычислений.
Часть команд можно взять из соответствующего командного файла или других источников.
Правда, не очень понятно. много ли существует таких практических задач.
Цитата(anserovtv @ 19.02.2014 - 11:34)

Ну вот куда-то ваш друг пропал!
Не иначе как заблудился в Мире Своих Математических Фантазий, бедолага! Ау!
Мои Миры сейчас переполнены студентами, аспирантами (из них 5 врачей) и докторантами (1 врач). Ещё статьи пишу... Возможно некоторых математиков удивлю, но статьи не по православному иудаизму, а по экологии, микробиологии, иммунологии, геронтологии и морфологии. А вот в какой-то блаженной неадекватности пребываете у нас именно вы. А с неадекватными людьми, лишёнными чувства ответственности и напрочь далёкими от этикета я связи рву: чтобы вдруг не заразиться

. Поэтому можете не аукать, а ещё лучше вообще держитесь от меня подальше. По предмету данной ветки форума я высказался вполне определённо ещё в сообщении 7 и, надеюсь, смог реально помочь топикстартеру с его проблемой. А что
полезного сделали вы? Обозвали меня и других форумчан неучами + нафлудили в нескольких темах о чём-то своём, блаженном. Изобретайте Новые Глупости! Саваоф и Орлов вам в помощь!
anserovtv
19.02.2014 - 18:21
Я никого не обзывал и не оскорблял . как вы болтуном.
По моим сведениям автор ветки использовал мои идеи,а не ваши . я даже не настаивал. Я же обрабатывал его данные.
Я тоже статьи пишу, есть какие-то и в ДАН и в трудах AMS. Веду курсы ФПК , среди слушателей есть доктора наук.
19 000 учеников-студентов по 10 специальностям вуза.
Возглавляю секцию на Всероссийской конференции.
Был оппонентом на защитах.
Где же ROC-кривая?