Годовые тренды Опции

[DrgLena]

Новый поворот мысли, относительные риск посчитать. Интересно, риск чего в годичном тренде, если именно это и есть цель вашего исследования? Не могу согласиться ни с одним вашим тезисом, а последний резюмирует предшествующие, узнать все что можно, посчитать все что можно, с ДИ ведь лучше будет смотреться, или нет, если в эпидемиологических исследованиях вы его не встречали, ошибки к долям приводить или нет? Как создать "шаблон" и спокойно жить долгие годы, а лечить больных тоже примерно также, назначить все возможные обследования, сделать все операции, внушительнее будет такой доктор смотреться на фоне более скромных коллег.

Сообщение отредактировал DrgLena - 25.11.2009 - 00:52

[Green]

Что значит писать поздно вечером:)

1.В предыдущем моем посте не ДИ, а ДА ( дисперсионный анализ). Это по поводу других советов по дисперсионному анализу.

2. "Шаблон" вы поняли как врач. Я имела ввиду "технологию", приемы анализа трендов для задач подобного типа, а никоим образом не выводы, следующие из такой технологии. Т.е. последовательность действий, способы представления информации и проч. Это разные вещи.

3. Не стоит говорить так категорично, вы же ничего не знаете обо мне. Например, о том, что у меня техническое образование. Людей я не лечу.
А вот понять, зачем медики пишут в дескриптивном описании группы ошибку доли, я бы хотела. Но никто не может ответить. Вместо этого громкие фразы. Если несложно, ответьте на простой вопрос?

4. ммм... чем Вам не нравится фраза "относительный риск заболевания от возбудителя А в n раз плюс минус ДИ выше, чем от возбудителя В" ? Это тоже вывод, сделанный на конкретных данных.
Впрочем, о риске были вечерние размышления. О тренде рисков... они менялись с годами...Плохо, что позволила себе задуматься о таком подходе?

[nokh]

Если использовать критерий фон Неймана на тренд - тоже нужно предварительно преобразовать данные.
У Закса об этом ничего нет, рано радовалась?

Как раз у Закса требование нормальности прописано курсивом в первом абзаце.

Если несложно, где прочесть о Freeman-Tukey transformation, и обосновании.

Источника из которого я о нём узнал в сети нет, но там достаточно других источников - воспользуйтесь гуглом.

На мой взгляд, в подобного рода эпидемиологических исследованиях, интересует только линейный тренд...
... замена регрессии, описывающей зависимость роста заболеваемости во времени, на коэффициент корреляции Спирмана, на том основании, что предполагается, что данные взяты из распределения Пуассона, приводит к потере информации.

А почему только линейный? А если рост идёт по экспоненте или волнообразно или ещё как-то. Для меня линейность далеко не очевидна, но ряд в 6 значений сделает смешными попытки стат. проверок на нелинейность. Именно поэтому и предложил ранговую корреляцию. С тем, что при переходе от количественной шкал к порядковой идёт потеря информации - не поспоришь. Но ведь ещё стоит вопрос адекватности применяемой статистической модели анализируемым данным. Реальных данных мы так и не увидели, но предположим, что увеличение доли больных в действительности описывается степенной зависимостью. На таком коротком ряду мы не рискнули отказаться от линейности и проанализировали её как линейную. В этом случае вся нелинейность ушла в ошибку регрессии. Но при переходе к рангам нелинейность не будет иметь значения, т.к. с увеличением порядкового номера года на единицу на такую-же единицу будет увеличиваться доля больных, и не важно, что форма - степенная. В ошибку ничего не уходит, корреляция будет равна 1, р<0,005 (!). Получается для такого случая ранговая корреляция обладает большей мощностью по сравнению с пирсоновской (это - моё "открытие" двухнедельной давности), а также более адекватна для доказательства тренда чем линейная регрессия. А теперь встаёт вопрос: что хуже - потерять информацию понизив шкалу до порядковой или применить неадекватную данным линейную стат. модель? Я считаю - второе. Хотя конечно важна цель анализа, но ведь прогноз не нужен... Другое дело - психологические моменты. (1) Если человек применяет для доказательства тренда (анализ зависимости) корреляцию (анализ связи) может возникнуть вопрос "почему", на который нужно быть готовым ответить коротко и ясно. Или так же коротко - в одной фразе - прописать это в тексте публикации. (2) Корреляцию Спирмена знают/слышали все, в отличие, скажем, от критерия Неймана. Поэтому вынося на свет божий ряд из шести цифр лучше в качестве обереговой мантры запастись критерием "фон Неймана", или ещё лучше "Аббе-Линника". А фраза "для проверки наличия тренда преобразованные по Фриману-Тьюки данные анализировали критериями фон Неймана и Аббе-Линника" может просто лишить потенциальных оппонентов воли. Тут главное самому не впасть в гипноз и помнить о длине ряда.

Сообщение отредактировал nokh - 25.11.2009 - 07:10

[DoctorStat]

Я имела ввиду "технологию", приемы анализа трендов для задач подобного типа

Предлагаю еще один способ анализа трендов - метод отношения правдоподобия. Сначала вы рассчитываете вероятность получить заболеваемости в отсутствие тренда slope=0. Потом при наличии тренда slope!=0. Потом делите одно на другое и полученное значение сравниваете с хи-квадрат статистикой. Этот метод широко известен, поэтому никакие "злопыхатели" к вам не смогут придраться.

Сообщение отредактировал DoctorStat - 25.11.2009 - 11:42

[nokh]

... Этот метод широко известен, поэтому никакие "злопыхатели" к вам не смогут придраться.

Широко известен в узких кругах . Буду Вам признателен за ссылку на более-менее толковый источник.

[DrgLena]

Уважаемые коллеги-волонтеры (злопыхателей нет), поскольку Green не предоставила свои данные и не определилась, тренды или риски ей нужно продемонстрировать, предлагаю использовать ряд на моем рисунке в качестве подопытного кролика. Интересен результат по подходу и nokh и DoctorStat. Но в смысловом содержании интересует возможность на основании анализа тренда сделать прогноз, хотя бы на год или на два. Тогда такой анализ будет иметь смысл, каких то коек на следующий год нужно добавить, а каких то убавить. Ведь интересует не сам процесс анализа с использованием магических слов, да еще написанным математиком, тут уж доктора не только волю потеряют.

[DrgLena]

3. Не стоит говорить так категорично, вы же ничего не знаете обо мне. Например, о том, что у меня техническое образование. Людей я не лечу.

Я говорю о подходе ремесленника, не важно, в каком деле.

А вот понять, зачем медики пишут в дескриптивном описании группы ошибку доли, я бы хотела. Но никто не может ответить. Вместо этого громкие фразы. Если несложно, ответьте на простой вопрос?

Ответ на простой вопрос. Первично не образование, а логика, но у каждого она своя, а у нас у женщин особенная. Зависит от того, какой смысл вы вкладываете в термин описательная статистика. Если в материалах и методах вы характеризуете группу исследования и пишете, что в группе из 3037 больных мужчин было 1218 (40,1%), а женщин 1819 (59,9%), то этого вполне достаточно. Но если вы хотите написать, что в изучаемой когорте больных диабетом?. типа преобладали женщины, то нужно привести статистические доказательства. Статистически различия в этих процентах будут зависеть от величины выборки. Приведите к этим процентам 95%ДИ и читатель сам сможет сделать выводы. А как посчитать, я давала ответ.

[DoctorStat]

Широко известен в узких кругах . Буду Вам признателен за ссылку на более-менее толковый источник.

Метод отношения правдоподобия - наиболее мощный метод для проверки простых гипотез (а вы этого не знали?). Привожу суперавторитетные и мегатолковые источники и ссылки на этот метод (ведь вы этого достойны:) ):
1. Кендалл М., Стюарт А. "Статистические выводы и связи", Наука, 1973, СТР.301
2. Бочаров П.П., Печинкин А.В. "Теория вероятностей. Математическая статистика", Физматлит, 2005, СТР.213

Сообщение отредактировал DoctorStat - 25.11.2009 - 14:52

[nokh]

Спасибо, Кендалл и Стюарт есть, читал/листал когда-то, пришло время углубиться. А про отношение правдоподобия - действительно не знал. В успокоение имеющей техническое образование Green, я по диплому о высшем образовании вообще учитель биологии и химии

[Green]

nokh, спасибо!
Ткнули в нос. Эта работа свалилась внезапно, поэтому невнимательно прочла Закса. Хотя нет... проверила на нормальность, но Вы опять же правы, что можно проверить на ряде из 6 чисел...
Проверяла доли (процент от общего количества случаев), кстати.
Ну, критерии согласия не отрицали нормальность. Честно говоря, в спешке и не вспомнила об этом. Поэтому доли и пошли далее в критерий фон Неймана.

Я полностью согласна с Вами насчет того, что 6 последовательных чисел - это мало. Поэтому и обратилась на форум в выборе адекватных методов. Согласна и с нем, что временные последовательности не часто ведут себя линейно.
Короче говоря, мучают меня эти шесть точек...
Год Возбудитель А Возбудитель Б....Всего установлено случаев
2003 66 25 110
2004 60 16 105
2005 64 21 101
2006 33 27 74
2007 53 55 121
2008 38 47 102

Я не думала, что кому-то интересные конкретные числа. Это они.
=======

DoctorStat, спасибо и Вам.
Кстати, подход достаточно известен, например, по похожему принципу работает регрессия Кокса. Если не путаю


======
DrgLena, если бы я занималась ремесленничеством, зачем бы я подняла эту тему тут?
В том виде, в котором отчет попал ко мне, там были рассчитаны доли. И все.

".... то нужно привести статистические доказательства" - это уже НЕ описательная статистика. Так... к слову.

========
В данном анализе интересует не прогноз - сколько человек в следующем году подцепят возбудитель А или Б, а то, что процесс идет (или не идет), и надо принимать меры (или не надо), к тому, чтобы их снизить. Например, дополнительная санация помещений и прочее....Это помимо лечебных мероприятий.
Ждать и прогнозировать, что заболеет еще больше/меньше - как-то не хочется. На этих данных найти внятное понимание ситуации. Если меры будут приняты, то далее в течение еще нескольких лет мониторить динамику. Есть эффективность от этих мер или нет...

==
Пока писала, пришло сообщение nokh.
nokh, я спокойна, мне результат нужен, а не доказать на форуме, что я такая- сякая, знаю то или это.

- Вам шашечки или ехать?
Мне - ехать:)


Сообщение отредактировал Green - 25.11.2009 - 16:12

[DrgLena]

Конечно, ехать, снимается не корректно употребленный термин "ремесленничество". Будем стремиться к искусству. Большая просьба к nokh и DoctorStat показать, как можно проанализировать эти два ряда.

[nokh]

ОК, но быстро не сделаю: хочу попробовать ещё пуассоновскую регрессию которую предстоит освоить.

[DrgLena]

Регрессионные модели для А я сделала и линейную и Пуассона, могу выложить, сравнить оценки, остатки т.т.д. Но не совсем понятно, как с трендом по Neumann.
Для А=средний квадрат (n-1) последовательных разностей =((66-60)^2+(60-64)^2+(64-33)^2+(33-53)^2+(53-38)^2)/5=327,6
Дисперсия=192,3
Отношение =1,7 в таблице критич. знач для n=6 и 5% уровня 0,89 и нулевая гипотеза не отклоняется.
Для болезни Б отношение =192/241=0,82 что ниже критического и принимается гипотеза о наличие тренда. Green, что у меня не так?
Не понятна для меня идея DoctorStat относительно использования LR для этих данных, поскольку оценить вероятность получить заболевание можно только если есть альтернатива ( не заболел), а в этих данных все больные.

[DrgLena]

Меня, все же, интересует прогноз, поэтому регрессия для болезни А.
По пуссоновой регрессии, значимы оба коэффициента:
Intercept b0=215,6032 (р=0,001279)
и year b1=-0,1055 (р=0,001570)
Предсказанные значения
67
60
54
49
44
40
36 (2009)
ПО линейной регрессии
Intercept b0=11053,93 (р=0,091)
и year b1=-5,490 (р=0,0925)
66
61
55
50
44
39
33(2009)

Прогноз по временному ряду при различных типах экспоненциального сглаживания для А, различные методы (Linear Trend, Double Smooth, Holt's Linear Trend) дают различные Pseudo R-Squared, Mean Square Error, Intercept (A), Slope (B) и естественно прогноз, на один год вперед соответственно перечисленным методам 33, 39 и 30 случаев. Максимум Pseudo R-Squared и мин ошибки при Forecast Method -Linear Trend.

[DoctorStat]

Не понятна для меня идея DoctorStat относительно использования LR для этих данных, поскольку оценить вероятность получить заболевание можно только если есть альтернатива ( не заболел), а в этих данных все больные.

Применение метода отношения правдоподобия для проверки наличия линейного временнОго тренда в вероятности заболевания. Предположим, что распределение наступления болезни подчиняется биномиальному закону. У нас есть результаты испытаний (известные величины) в виде объема выборки n и числа случаев заболеваний m по нескольким последовательным годам. Есть две неизвестные величины, которые нужно рассчитать, вероятность заболевания для одного человека в год p и ее годовой тренд deltap. Основной вопрос исследования: тренд deltap равен нулю или нет (заболеваемость меняется или нет)? Для ответа на этот вопрос нужно проверить статистическую гипотезу методом отношения правдоподобия. Сначала найдем максимальную вероятность L1 (правдоподобие без ограничений) получения наших данных, не налагая ограничений на p и deltap с помощью перемножения отдельных биномиальных вероятностей и дифференцирования произведения по p и deltap (это сделать непросто!). Аналогично найдем максимальную вероятность L0 (правдоподобие с ограничениями) в предположении, что тренда нет: deltap=0. Далее, вычисляем величину Lambda=ln[L1/L0]. Величина Lambda асимптотически (когда наблюдений много) распределена по закону хи-квадрат с (количество неизвестных-1)=1 степенью свободы. Следовательно, выбирая уровень значимости alfa (обычно alfa =0.05), если Lambda больше критического значения хи-квадрат, то тренд присутствует и наоборот.