Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

 
Добавить ответ в эту темуОткрыть тему
> Cutoff в прогностических моделях
Гематолог
сообщение 5.04.2010 - 11:09
Сообщение #1





Группа: Пользователи
Сообщений: 33
Регистрация: 17.08.2009
Пользователь №: 6249



Дорогие друзья, нуждаюсь в помощи!

Как решить проблему cutoff, когда речь идет о количественной переменной, оказавшей
в Кокс-регрессивном анализе значимое влияние на выживаемость?
Например, Вы имеете 200 значений уровня ЛДГ (лактат-дегидрогеназы) у своих пациентов в виде колонки.
Далее, Кокс-регрессия показывает значимое влияние параметра на общую и бессобытийную выживаемость.
Вопрос. Как грамотно определить границу значения переменной?
Скорее всего Вы видели, как в прогностических индексах выделяют группы:

ЛДГ более 600 и менее 600.
Альбумин более 30 и менее 30 и т.д.

Я искал ответ по публикациям, где подобную задачу решали.
Привожу ниже рецепт от Немецкой группы по изучению лимфогранулематоза -

To develop a practical scoring system, all laboratory variables
were dichotomized. Cutoff points were chosen to make optimal
use of the information, with the conditions that the smaller
group contain at least 20 percent of all patients, that the cutoff
value demarcate a clearly abnormal state and if possible agree with
cutoff values used in the literature, and that the effects of the dichotomized
variables be of the same order of magnitude. No
dichotomized covariates were entered into the model unless the
continuous analogue had a significant independent prognostic effect.
This strategy was used to ensure that the selection of prognostic
factors for the model would be independent of the choice
of the various cutoff points.

Спасибо за помощь заранее!


Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 8.04.2010 - 04:56
Сообщение #2





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



В анализе выживаемости с такой задачей не сталкивался, но искал оптимальную точку разделения в анализе диагностической эффективности (ДЭ). Там пришлось это делать вручную - провести столько анализов, сколько в данных есть точек-кандидатов на cutoff и для каждой рассчитать интегральную меру ДЭ (использовал индекс Юдена). Далее по графику, который был близок к параболе нашёл значение cutoff в её вершине. Работа большая, но в данном случае была оправдана, т.к. от выбора этой точки в новой методике в целом и диссертации человека в частности многое зависело. Думаю что и в Вашем случае стандартные пакеты не предоставят возможности автоматического расчёта порога, разве что в R это вероятно можно запрограммировать. Но если трудозатраты оправданы можно попытаться также сделать вручную. Я бы в качестве интегральной меры использовал отношение рисков. Т.е. для окончательной модели все переменные не изменять а одну, скажем ЛДГ, перевёл бы в бинарную выбрав качестве порога первое изменение её уровня в массиве данных и из результатов анализа выписал бы соответствующее этой переменной значение отношения рисков. Затем перевёл бы в бинарную по следующему порогу и т.д. Данные предварительно бы отсортировал в порядке увеличения ЛДГ - для облегчения кодировки соседней колонки в которой она будет бинарной и которая и будет использована в анализе. После проведения всех анализов построил бы график зависимости отношения рисков от величины порога переменной. После разбора первой переменной приступил бы к дихотомизации другой.
Далее - неопределённость. В моём случае я точно знал, что у функции есть вершина. В вашем такой вершины не будет, а будет только возрастание функции отношения рисков. Если повезёт - она будет иметь форму логистической кривой или по крайней мере иметь явную точку перегиба. Тогда её можно будет приблизить к/л известной функцией, получить уравнение и алгебраически рассчитать абсциссу точки перегиба - это и будет искомый оптимальный порог - то значение после которого происходит качественный скачок в выживаемости. Но можно предположить что Ваша функция не будет иметь такой точки перегиба - например это будет просто уходящая вверх прямая. Тогда любые попытки введения какого-либо порога представляются необоснованными, т.к. влияние переменной на выживаемость будет монотонным. В принципе - тоже интересно, и тоже - вывод. Такие вот есть соображения.

Сообщение отредактировал nokh - 8.04.2010 - 05:04
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Гематолог
сообщение 11.04.2010 - 19:58
Сообщение #3





Группа: Пользователи
Сообщений: 33
Регистрация: 17.08.2009
Пользователь №: 6249



Спасибо, Уважаемый Nokh!
К этому сообщению я прикрепил файл из NEJM.
Там как раз решалась подобная проблема - разработали индекс Хасенкливера - Диля для генерализованных
стадий лимфогранулематоза.
Хотел бы узнать Ваше мнение на предмет того, как были расчитаны cutoff.

Прикрепленные файлы
Прикрепленный файл  Индекс_Хасенкливера_Диля.pdf ( 112,51 килобайт ) Кол-во скачиваний: 517
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
mix3d
сообщение 22.04.2010 - 17:43
Сообщение #4





Группа: Пользователи
Сообщений: 32
Регистрация: 15.02.2009
Пользователь №: 5815



А нельзя ли в данном случае применить ROC-анализ?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 23.04.2010 - 12:39
Сообщение #5





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Используя ROC можно найти точки разделения количественной переменной для разделения двух групп, например больной ? здоровый. И затем, использовать в логистической регрессионной модели полученные таким образом бинарные переменные. Но в кокс регрессионных моделях событие (рецидив, смерть) происходи во времени и в качестве оценки влияния фактора используют exp(в). Если предикторы количественные, то можно построить К-М кривую по средним значениям предикторов (базовый риск), эти средние делят на две части переменную и бинарные могут быть созданы на основе средних. Трактовка exp(в) тогда означает величину влияния фактора, если он есть 1, нет 0. Для усиления оценки риска можно сделать несколько категорий количественной переменной и рассмотреть, например 1 категорию (1) относительно 2+3+4 (0). Тогда, наиболее крайние значения будут обладать более высоким риском и exp(в) будет выше. Но в этой меньшей группе не должно быть слишком мало значений, например не менее 20% всех случаев. Это, если одна переменная в модели, но если их несколько, то нужно смотреть и другие варианты, т.е. 1+2 против 3+4 может иметь достаточно высокую оценку при наличии еще и другого фактора риска. В итоге - мучительное моделирование, чтобы в модель вошли наиболее значимые факторы, не коррелируемые друг с другом и обладающие биологическим смыслом.

Сообщение отредактировал DrgLena - 23.04.2010 - 12:44
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Гематолог
сообщение 26.04.2010 - 09:55
Сообщение #6





Группа: Пользователи
Сообщений: 33
Регистрация: 17.08.2009
Пользователь №: 6249



Цитата(DrgLena @ 23.04.2010 - 13:39) *
Используя ROC можно найти точки разделения количественной переменной для разделения двух групп, например больной ? здоровый. И затем, использовать в логистической регрессионной модели полученные таким образом бинарные переменные. Но в кокс регрессионных моделях событие (рецидив, смерть) происходи во времени и в качестве оценки влияния фактора используют exp(в). Если предикторы количественные, то можно построить К-М кривую по средним значениям предикторов (базовый риск), эти средние делят на две части переменную и бинарные могут быть созданы на основе средних. Трактовка exp(в) тогда означает величину влияния фактора, если он есть 1, нет 0. Для усиления оценки риска можно сделать несколько категорий количественной переменной и рассмотреть, например 1 категорию (1) относительно 2+3+4 (0). Тогда, наиболее крайние значения будут обладать более высоким риском и exp(в) будет выше. Но в этой меньшей группе не должно быть слишком мало значений, например не менее 20% всех случаев. Это, если одна переменная в модели, но если их несколько, то нужно смотреть и другие варианты, т.е. 1+2 против 3+4 может иметь достаточно высокую оценку при наличии еще и другого фактора риска. В итоге - мучительное моделирование, чтобы в модель вошли наиболее значимые факторы, не коррелируемые друг с другом и обладающие биологическим смыслом.


Спасибо большое, Елена!
Ей Богу, ROC не использовал.
Столкнулся с двумя проблемами в Кокс - регрессии...
Но постараюсь пока сформулировать первый вопрос.
Если Вас не затруднит, посмотрите прикрепленный файл.
Там таблица. Файл не экселевский, потому что сайт, почему - то не разрешил прикрепить файл с эксель расширением.
Пришлось представить его в word.
В одной колонке, по ранжиру, представлены в месяцах периоды ожидания до воздействия
препарата А. Всего - 81 пациент.
Во второй колонке - бинарная переменная -
1 - удача
2 - неудача.
Мой вопрос.
Я вижу, что при ожидании более 4 месяцев возросло число нулей, то есть неудач.
Каким методом это наблюдение формализовать и доказать?
В файле Вы увидете данные и на стр 3 - 4 результаты тех методов, что применил я.
Правильно ли я использовал методы?
Если моя проблема вызовет отклик у Уважаемых экспертов, я спрошу о другой проблеме.
Спасибо за сайт и за помощь!!!

Прикрепленные файлы
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 26.04.2010 - 12:39
Сообщение #7





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Цитата(Гематолог @ 26.04.2010 - 09:55) *
Ей Богу, ROC не использовал.

И тем не менее, вы верно нашли оптимальную точку разделения (>4), для нее чувствительность составляет 85%, специфичность 62,3%. Если хотите посмотреть другие значения посмотрите ROC в AtteStat
Цитата(Гематолог @ 26.04.2010 - 09:55) *
Столкнулся с двумя проблемами в Кокс - регрессии...

Пока не вижу, где здесь Кокс регрессия.
Цитата(Гематолог @ 26.04.2010 - 09:55) *
1 - удача
2 - неудача.

В ваших данных, наверное, неудача 0.
Тогда, по вашим данным, число случаев по условию время<=4 составит 41 из них 38 удача, а 3 ? неудача. ПО условию >4 будет 23 удач и 17 неудач. Т.е. таблица 2х2 для расчета OR будет a,b,c,d
38, 3, 23, 17. OR=9,4 (95% ДИ 2,5-35,5 )
Из тех таблиц, что вы привели, для этих данных можно воспользоваться точным тестом Фишера.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Гематолог
сообщение 26.04.2010 - 21:35
Сообщение #8





Группа: Пользователи
Сообщений: 33
Регистрация: 17.08.2009
Пользователь №: 6249



Спасибо, Елена!

Я не приводил всю таблицу, поэтому мой вопрос о Коксе остался в стороне.
К этому сообщению я прикрепил файл из общей таблицы и график.
В нем интервалы до назначения препарата, затем интервалы до события или явки и последний
столбец - цензурированность.
Я пропускаю "промежуточные" столбцы с датами, из которых "вышли" представленные колонки.
Так вот, сначала я провел логистическую регрессию - влиял ли интервал до назначения препарата
(в нашем случае это первая колонка) на факт события (третья колонка)?
Сразу получил незначимость. Результаты не привожу, дабы зря не отвлекать экспертов.
Далее, тоже самое проделал с Коксом.
Результат тот же - влияние фактора незначимо.
Для меня было странным, что значимость модели пришла, когда я воспользовался
методом зависимых от времени ковариат. Но, вдруг я ошибся, когда закладывал формулу зависимости, по типу ФАКТОР*(Log(Время в мес - 0,54))?
Поэтому я не доверяю тому, что получил значимость переменной.
И наконец, если построить раздельно Каплан-Майер для бессобытийной по представленным мною данным, то различие то есть.
Но, почему на этапе до К-М я не "попал" в значимость переменной? Почему эмпирически я вижу разницу, а вот с обоснованием раздела в 4 мес - проблема?
И насчет Фишера.
Часто в клинических исследованиях, когда закладывается понятие "событие", то под ним подразумевается сразу несколько явлений.
Ну, например, потеря молекулярной ремиссии, потеря генетической ремиссии, появление активности опухоли по ПЭТ и т.д.
То есть событие само по себе несколько "гетерогенно".
В свое время мне объясняли, что в этом случае использовать критерий Фишера некорректно.

Заранее благодарю за ответ!





Прикрепленные файлы
Прикрепленный файл  График_К_М_для_форума.doc ( 24 килобайт ) Кол-во скачиваний: 385
Прикрепленный файл  График_К_М_и_часть_основной_таблицы.doc ( 107 килобайт ) Кол-во скачиваний: 337
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 27.04.2010 - 01:42
Сообщение #9





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



1. ROC, вы нашли точку разделения, значение >4
2. Создали бинарную переменную по этому значению.
3. Используя эту переменную, вы должны построить логистическую регрессионную модель и оценить значимость коэффициента. При этом его значение exp(b) и OR рассчитанное руками из таблицы 2х2 в случае одновариантной модели совпадают, я уже приводила это значение. Оценка коэффициента в модели p=0,001. Вы, очевидно, строили модель не с редуцированной бинарной переменной, а с количественной. Коэффициент и его трактовка при этом будут различны.
4. Но, вас, конечно, интересует влияние фактора не просто на факт удача, неудача, а влияние на время наступления события, тогда Кокс( Proportional hazard (Cox) regression). Но, независимый предиктор тот же бинарный. Полученная модель также статистически значима Хи.кв.=4,1 р=0,042. Значение exp(b) =3,17 (р=0,07)
5. А теперь можете проиллюстрировать различия кривых К-М в двух группах и привести уровень значимости различия, выбрав подходящий критерий.
6. Все вышеизложенное и есть доказательство влияния сроков начала лечения на результат.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Гематолог
сообщение 27.04.2010 - 08:32
Сообщение #10





Группа: Пользователи
Сообщений: 33
Регистрация: 17.08.2009
Пользователь №: 6249



Спасибо, Елена!

Вы правы, если закладывать бинарную переменную в регрессионные модели - все получается.
Правда, я ожидал, что увижу значимость и в случае числового ряда без категоризации.
Елена, я видимо плохо предсталяю себе роль ROC в моем случае.
Буду разбираться.
С Фишером, скорее я неправ. Использовать здесь его можно и нужно.
Если Вас не затруднит, можно посмотреть как Вы использовали ROC?
У меня есть возможность построения ROC - кривой в SPSS.
Как правильно заложить мои переменные?

Спасибо!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 27.04.2010 - 12:37
Сообщение #11





Группа: Пользователи
Сообщений: 1325
Регистрация: 27.11.2007
Пользователь №: 4573



Цитата(Гематолог @ 27.04.2010 - 08:32) *
У меня есть возможность построения ROC - кривой в SPSS.

Точнее, в SPSS есть возможность, читайте хелп и контекстные подсказки. Я вам советовала для ROC использовать бесплатную, русскоязычную программу Attestat.
Цитата(Гематолог @ 27.04.2010 - 08:32) *
Как правильно заложить мои переменные?

В SPSS, Test Var ? количественная переменная, месяцы
State Var - бинарная переменная исход. Вам нужно поставить метку координаты точек для построения кривой. Но вы должны знать определение понятий чувствительносьть, специфичность, в инете и на этом форуме много информации для изучения ROC, в том числе и ссылки.
Я не сторонник того, чтобы одна научная гипотеза проверялась различным набором статистических инструментов. Я бы не стала утверждать, что Фишер здесь можно и нужно. Для ваших задач Кокс, наверное, наиболее подходящий инструмент, способный оценить факторы влияющие на исход, если важно время наступления события.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Гематолог
сообщение 27.04.2010 - 13:05
Сообщение #12





Группа: Пользователи
Сообщений: 33
Регистрация: 17.08.2009
Пользователь №: 6249




Это правда - возможности SPSS иногда расходятся с моим скромным опытом.
AtteStat скачаю и сделаю как вы рекомендуете.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Гематолог
сообщение 28.04.2010 - 08:51
Сообщение #13





Группа: Пользователи
Сообщений: 33
Регистрация: 17.08.2009
Пользователь №: 6249




Ура! С ROC - разобрался. Моя проблема и вопрос ROC-кривых обсуждался здесь же на форуме.
Материалы форума уже сами по себе можно публиковать как учебное пособие smile.gif
Получил результаты и в SPSS и в Attestat.
Совпадает, как у Елены.
Кстати, насчет Attestsat.
Спасибо автору программы Игорю! Классно!
К сожалению, у меня на ноутбуке винда XP - не позволяет смотреть справки по разделам методов Attestat.
Говорит, что справки созданы под более ранние версии винды.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 28.04.2010 - 10:44
Сообщение #14





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Цитата(Гематолог @ 28.04.2010 - 09:51) *
Ура! С ROC - разобрался. Моя проблема и вопрос ROC-кривых обсуждался здесь же на форуме.
Материалы форума уже сами по себе можно публиковать как учебное пособие smile.gif
Получил результаты и в SPSS и в Attestat.
Совпадает, как у Елены.
Кстати, насчет Attestsat.
Спасибо автору программы Игорю! Классно!
К сожалению, у меня на ноутбуке винда XP - не позволяет смотреть справки по разделам методов Attestat.
Говорит, что справки созданы под более ранние версии винды.

Windows XP имеет в составе Программу "Справка Windows" (WinHlp32.exe), поэтому проблемы быть не должно. Если данная проблема в XP имеет место, необходимо обратиться за поддержкой к Microsoft или к специалистам по данной системе.

Вот тут находятся ссылки на загрузку "Справки Windows" (WinHlp32.exe) для более новых версий Windows: http://support.microsoft.com/kb/917607

Нормальных и при этом бесплатных конвертеров Справки HLP в другие форматы Справки не существует. Сейчас Справка AtteStat разрабатывается в Word, затем нажатием одной кнопки компилируется в HLP. Если предложат более удобный (и бесплатный) способ - рассмотрим. У меня лицензионный MS Office - это максимум, что могу себе позволить.

Если компания Microsoft продолжит искоренять свои же форматы, Справка AtteStat будет поставляться в PDF. В дальнейшем не исключаю переход полностью на Linux. К моему глубокому сожалению, чем больше знакомишься в последнее время с методами ведения бизнеса компанией Microsoft в России (если кому-то интересно, можем продолжить в другой теме), тем менее приемлемыми они представляются.

Сообщение отредактировал Игорь - 30.04.2010 - 06:25


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

Добавить ответ в эту темуОткрыть тему