Версия для печати темы

Нажмите сюда для просмотра этой темы в обычном формате

Форум врачей-аспирантов _ Медицинская статистика _ критерии сезонности и тренда во временном ряде

Автор: зоо 25.12.2018 - 12:04

Вопрос звучит просто. Подскажите, есть ли статистические критерии ,которые показывают есть ли тренд и сезонность во временном ряде. Т.е. для тренда и сезонности свои критерии.

Автор: p2004r 25.12.2018 - 14:46

Цитата(зоо @ 25.12.2018 - 12:04) *
Вопрос звучит просто.


Много обещающее начало.

Ответ звучит тоже "просто", прочитать https://en.wikipedia.org/wiki/Autocorrelation , понять что спросил скорее всего про стационарные ряды (если нет, читаем дальше Decomposition and Filtering + Seasonality + Stationarity, Unit Roots, and Cointegration в https://cran.r-project.org/web/views/TimeSeries.html) и посмотреть как анализируют автокорреляцию. Если сезонность связана именно с календарем воспользоваться готовыми средствами в которые встроена кроссвалидация (например https://cran.r-project.org/web/packages/prophet/prophet.pdf).



Автор: passant 25.12.2018 - 17:23

Действительно, наиболее "прямой" путь выявления наличия трендовой и сезонной составляющих - анализ автокоррелограмм. Высокие значения на первом (первых) лагах и низкие на младших - прямой признак наличия тренда. Наличие высоких значений на одном из "не первых" лагах при низких на соседних - признак наличия сезонности, еще и с подсказкой о ее периоде.
Есть и специальные методы анализа. Для выявления наличия тренда - критерий Аббе-Линника, критерий Фостера-Стюарта, критерий серий и еще с полтора десятка других. Для сезонности используется еще и примитивный метод расчета индекса сезонности. Ну и анализ Фурье - классика анализа периодических процессов - никто не отменял.

Автор: nokh 25.12.2018 - 20:24

Ну и "до кучи": сингулярный спектральный анализ:
https://ru.wikipedia.org/wiki/SSA_(%D0%BC%D0%B5%D1%82%D0%BE%D0%B4)
https://en.wikipedia.org/wiki/Singular_spectrum_analysis

Автор: зоо 26.12.2018 - 11:10

Всем спасибо за ответы. Буду изучать ссылки

Автор: зоо 26.12.2018 - 11:16

А реализация критерия Фостера-Стюарда есть в R?

Автор: 100$ 26.12.2018 - 15:10

Цитата(зоо @ 26.12.2018 - 11:16) *
А реализация критерия Фостера-Стюарда есть в R?


/справочно/

Традиционно при анализе временных рядов под словом "тренд" разумеют тренд среднего, тренд дисперсии или тренд а/корреляции. Гипотеза о неизменности во времени этих вероятностных характеристик известна как гипотеза стационарности временного ряда. Поэтому мейнстримом в этом вопросе является уже упомянутая бездонная тема под общим названием "Unit Root Testing". Вот ее-то и надо изучать. Патамушта ряд работ, опубликованных Дики и Фуллером в 1976-1979 гг. обнулил все антикварные тесты вроде теста Манна - Кендалла, Аббе - Линника, Фостера - Стюарта, автокорреляции (н-р, в форме Дюфора - Роя), которые с тех пор представляют разве что исторический интерес.

В этом смысле на два порядка разумнее воспользоваться тестом Филиппса - Перрона (PP.test{stats}), но уж никак не Фостером - Стюартом.
При этом отдавая себе отчет в том, что все эти тесты даже на смоделированных данных обладают околонулевой мощностью.

Автор: DoctorStat 26.12.2018 - 21:25

Классическую книгу: https://www.twirpx.com/file/94420/ еще никто не отменял. С нее нужно начинать.

Автор: зоо 28.12.2018 - 17:35

Подскажите, а всегда ли надо избавлять ряд от тренда?

Автор: 100$ 28.12.2018 - 23:10

Цитата(зоо @ 28.12.2018 - 17:35) *
Подскажите, а всегда ли надо избавлять ряд от тренда?


Ну, "всегда" - вряд ли, но поскольку дальше всего удалось продвинуться в изучении именно стационарных рядов, то предварительно остационарить ряд обычно невозбранно.

Автор: зоо 29.12.2018 - 01:37

100$, подскажите, пожалуйста, для моделей экспоненциального сглаживания и АРИМЫ, есть ли предпочтения по кратко и долгосрочному прогнозу? Например, какие модели лучше для долгосрочного прогнозирования, а какие для краткосрочного или разницы нет

Автор: 100$ 29.12.2018 - 02:35

Цитата(зоо @ 29.12.2018 - 01:37) *
100$, подскажите, пожалуйста, для моделей экспоненциального сглаживания и АРИМЫ, есть ли предпочтения по кратко и долгосрочному прогнозу? Например, какие модели лучше для долгосрочного прогнозирования, а какие для краткосрочного или разницы нет


Модель экспоненциального сглаживания (ЭС) - это способ механического (не статистического) выравнивания временного ряда, в то время как АРИМА - полноценная статистическая модель. Это означает, что у экспоненциального сглаживания нет такого понятия как дисперсия прогноза, а у АРИМ'ы - есть. Для ответа на собственные вопросы вам надо смоделировать временной ряд, для части этого ряда (н-р, 80% его длины) подогнать АРИМУ и ЭС, на оставшихся 20% сделать прогноз и рассчитать его дисперсию. Ничего более интересного предложить не могу. Сам ЭС всерьез никогда не воспринимал.

Автор: passant 29.12.2018 - 12:51

Вообще-то на первых страницах любого учебника по прогнозированию на основе временных рядах объясняется, что вопрос

Цитата(зоо @ 29.12.2018 - 00:37) *
какие модели лучше для долгосрочного прогнозирования, а какие для краткосрочного или разницы нет

безотносительно к предметной области лишен всякого смысла.
Скажите, для предсказания экономического развития страны один месяц это краткосрочный прогноз или долгосрочный? А для предсказания курса тугрика к доллару? А для предсказания состояния больного? А больного сахарным диабетом или больного, привезенного с сердечным приступом по скорой?
А вы даже не сказали нам в какой области медицины (?) вы работаете.
Наиболее интуитивно-понятную (но не временнО-упрощенческую) дефиницию периодов статистического прогнозирования я встречал вот примерно такую:
" Термины "кратко-", "средне-" и "долго-" не имеют чёткого определения, но должны зависеть от инерционности (способности объекта сохранять свои характеристики в некоторых пределах в течение заданного промежутка времени при незначительных внешних воздействиях на объект) объекта исследования.
Так краткосрочным можно назвать прогноз, осуществляемый на срок, не превышающий период инерционности объекта исследования. Главное, что характеризует этот тип прогноза - это то, что исследуемый объект (процесс)сохраняет свою устойчивость. Он не подвержен существенным изменениям и может быть достаточно точно спрогнозирован. Прогнозные методы в случае с краткосрочным прогнозированием должны в большей степени учитывать последние полученные данные.
Среднесрочный прогноз - это прогноз на срок, незначительно превышающий период инерционности объекта исследования. В этом случае в динамике показателя может наметиться какая-нибудь тенденция, в частности - изменения параметров модели процесса, которую можно выловить и спрогнозировать с помощью соответствующих математических методов.
Долгосрочный прогноз - это прогноз на срок, значительно превышающий период инерционности. Здесь уже динамику показателя спрогнозировать становится практически невозможно: за этот срок может произойти существенное, случайное и абсолютно непредвиденное заранее изменение в поведении объекта исследования. Именно поэтому для прогнозирования на долгий срок нужно обращаться к различным сценариям и использовать в том числе экспертные методы для выбора оптимистичного, пессимистичного и наиболее вероятного из них.
Методы расчёта периода инерционности объекта исследования пока практически не разработаны, так что его приходится оценивать "на глаз". Более того, период инерционности очевидным образом меняется от одного объекта исследования к другому.
" (--->отсюда, кстати, понятно, почему в приведенных выше примерах при одинаковых периодах упреждения сами прогнозы будет относиться к принципиально разным типам и должны выполняться разными математическими или эвристическими инструментами.)
Это определение возможно не совсем четкое в математическом смысле, зато дает исследователю хоть какие-то ориентиры.
Поэтому если вы хотите осмысленных ответов - приведите семантику вашей задачи. Думаю тогда можно будет предметно говорить и о типе вашего прогноза и о методах, которые имеет смысл применять.

Автор: зоо 31.12.2018 - 16:11

Хороший вопрос по поводу того что считать кратко-долгосрочностью
Ну смотрите к примеру есть ряд за 3 года (36 месяцев) по продажам. предсказание на три месяца это краткосрочный прогноз? а на 20 месяцев?
или например есть данные по валютам, поминутно агрегированные. В дне 1440 минут. будет ли прогноз от начала дня на на 10 часов т.е. 600 минут вперед долгосрочным?
Как определить что краткосрочным является, а что долгосрочным?

Автор: 100$ 31.12.2018 - 17:09

Цитата(зоо @ 31.12.2018 - 16:11) *
Хороший вопрос по поводу того что считать кратко-долгосрочностью
Ну смотрите к примеру есть ряд за 3 года (36 месяцев) по продажам. предсказание на три месяца это краткосрочный прогноз? а на 20 месяцев?
или например есть данные по валютам, поминутно агрегированные. В дне 1440 минут. будет ли прогноз от начала дня на на 10 часов т.е. 600 минут вперед долгосрочным?
Как определить что краткосрочным является, а что долгосрочным?


Все ваши страдания по пустякам проистекают от незнания давным-давно отлитой в граните эконометрической мудрости: к прогнозированию допускаются модели, у которых на заданном горизонте прогноза MAPE <10%.

Автор: зоо 12.01.2019 - 15:20

Еще такой вопрос. Если в ряде не 12 месяцев, а например 8, с октября по июнь. Корректно ли делать прогноз на неполных данных? Вообще в целом какое минимальное число месяцев в ряде должно быть для прогноза пусть на 1 год.

Автор: p2004r 14.01.2019 - 14:49

Цитата(зоо @ 12.01.2019 - 15:20) *
Еще такой вопрос. Если в ряде не 12 месяцев, а например 8, с октября по июнь. Корректно ли делать прогноз на неполных данных? Вообще в целом какое минимальное число месяцев в ряде должно быть для прогноза пусть на 1 год.


Это зависит от конкретных данных _прежде_ всего.

А спрашивать когда "едешь в машине" на форуме совета -- "делать ли мне поворот на лево после поворота на право", и потом вопрошать "а там мне по другому посоветовали, как теперь быть" бесполезное занятие.

Автор: зоо 17.01.2019 - 13:20

Ну например на таких данных,месячные продажи.

Data Sales
01.01.2015 318
01.02.2015 345
01.03.2015 503
01.04.2015 264
01.05.2015 266
01.06.2015 265
01.07.2015 231
01.08.2015 333

прогноз на два года корректно делать?

Автор: passant 17.01.2019 - 14:02

Цитата(зоо @ 17.01.2019 - 12:20) *
Ну например на таких данных,месячные продажи.

прогноз на два года корректно делать?

Нет.

Автор: зоо 19.01.2019 - 18:03

passant, почему нет? Можете обосновать? и на каких- Да?

Автор: passant 19.01.2019 - 22:18

Цитата(зоо @ 19.01.2019 - 17:03) *
passant, почему нет? Можете обосновать? и на каких- Да?

Вы не рекордсмен - вот тут https://toster.ru/q/596402 некто даже по данным двух(!!!) месяцев пытается предсказать покупки сезонного товара на пол года вперед. А у вас аж по 8 месяцам и всего на два года. Да лЁгко! :-)
Если серьезно - то ваш вопрос перевернут с ног на голову.
Вы прямо спросили- "можно?". Я столь-же прямо ответил - "нет". Если более расширенно, то "нет, при имеющихся исходных данных сделать прогноз на заданный период упреждения с разумной и практически осмысленной точностью невозможно". Вы ставите такой ответ под сомнение? Тогда будьте любезны обоснуйте, на основании информации из каких источников вы считаете его некорректным и с помощью каких инструментов вы планируете делать то, что я считаю невозможным. Невозможным, ибо это противоречит как методическим основам предикативного анализа, так и обычной человеческой логике.

Автор: passant 22.01.2019 - 17:27

Вот, совершенно случайно наткнулся на статью о выявлении сезонности в коротких рядах. С примерами. Обратите внимание, что такое "короткий" и на сколько "долгосрочный" прогноз при этом можно сделать.
https://robjhyndman.com/hyndsight/tslm-decomposition/

Форум Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)