критерии сезонности и тренда во временном ряде |
Здравствуйте, гость ( Вход | Регистрация )
критерии сезонности и тренда во временном ряде |
25.12.2018 - 12:04
Сообщение
#1
|
|
Группа: Пользователи Сообщений: 24 Регистрация: 6.12.2017 Пользователь №: 30681 |
Вопрос звучит просто. Подскажите, есть ли статистические критерии ,которые показывают есть ли тренд и сезонность во временном ряде. Т.е. для тренда и сезонности свои критерии.
|
|
25.12.2018 - 14:46
Сообщение
#2
|
|
Группа: Пользователи Сообщений: 1091 Регистрация: 26.08.2010 Пользователь №: 22699 |
Вопрос звучит просто. Много обещающее начало. Ответ звучит тоже "просто", прочитать https://en.wikipedia.org/wiki/Autocorrelation , понять что спросил скорее всего про стационарные ряды (если нет, читаем дальше Decomposition and Filtering + Seasonality + Stationarity, Unit Roots, and Cointegration в https://cran.r-project.org/web/views/TimeSeries.html) и посмотреть как анализируют автокорреляцию. Если сезонность связана именно с календарем воспользоваться готовыми средствами в которые встроена кроссвалидация (например https://cran.r-project.org/web/packages/prophet/prophet.pdf). |
|
25.12.2018 - 17:23
Сообщение
#3
|
|
Группа: Пользователи Сообщений: 231 Регистрация: 27.04.2016 Пользователь №: 28223 |
Действительно, наиболее "прямой" путь выявления наличия трендовой и сезонной составляющих - анализ автокоррелограмм. Высокие значения на первом (первых) лагах и низкие на младших - прямой признак наличия тренда. Наличие высоких значений на одном из "не первых" лагах при низких на соседних - признак наличия сезонности, еще и с подсказкой о ее периоде.
Есть и специальные методы анализа. Для выявления наличия тренда - критерий Аббе-Линника, критерий Фостера-Стюарта, критерий серий и еще с полтора десятка других. Для сезонности используется еще и примитивный метод расчета индекса сезонности. Ну и анализ Фурье - классика анализа периодических процессов - никто не отменял. Сообщение отредактировал passant - 25.12.2018 - 17:25 |
|
25.12.2018 - 20:24
Сообщение
#4
|
|
Группа: Пользователи Сообщений: 1202 Регистрация: 13.01.2008 Из: Челябинск Пользователь №: 4704 |
Ну и "до кучи": сингулярный спектральный анализ:
https://ru.wikipedia.org/wiki/SSA_(%D0%BC%D...82%D0%BE%D0%B4) https://en.wikipedia.org/wiki/Singular_spectrum_analysis |
|
26.12.2018 - 11:10
Сообщение
#5
|
|
Группа: Пользователи Сообщений: 24 Регистрация: 6.12.2017 Пользователь №: 30681 |
Всем спасибо за ответы. Буду изучать ссылки
|
|
26.12.2018 - 11:16
Сообщение
#6
|
|
Группа: Пользователи Сообщений: 24 Регистрация: 6.12.2017 Пользователь №: 30681 |
А реализация критерия Фостера-Стюарда есть в R?
|
|
26.12.2018 - 15:10
Сообщение
#7
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
А реализация критерия Фостера-Стюарда есть в R? /справочно/ Традиционно при анализе временных рядов под словом "тренд" разумеют тренд среднего, тренд дисперсии или тренд а/корреляции. Гипотеза о неизменности во времени этих вероятностных характеристик известна как гипотеза стационарности временного ряда. Поэтому мейнстримом в этом вопросе является уже упомянутая бездонная тема под общим названием "Unit Root Testing". Вот ее-то и надо изучать. Патамушта ряд работ, опубликованных Дики и Фуллером в 1976-1979 гг. обнулил все антикварные тесты вроде теста Манна - Кендалла, Аббе - Линника, Фостера - Стюарта, автокорреляции (н-р, в форме Дюфора - Роя), которые с тех пор представляют разве что исторический интерес. В этом смысле на два порядка разумнее воспользоваться тестом Филиппса - Перрона (PP.test{stats}), но уж никак не Фостером - Стюартом. При этом отдавая себе отчет в том, что все эти тесты даже на смоделированных данных обладают околонулевой мощностью. |
|
26.12.2018 - 21:25
Сообщение
#8
|
|
Группа: Пользователи Сообщений: 377 Регистрация: 18.08.2008 Из: Москва Златоглавая Пользователь №: 5224 |
Классическую книгу: Бокс Дж., Дженкинс Г. "Анализ временных рядов прогноз и управление" еще никто не отменял. С нее нужно начинать.
Сообщение отредактировал DoctorStat - 26.12.2018 - 21:27 Просто включи мозги => http://doctorstat.narod.ru
|
|
28.12.2018 - 17:35
Сообщение
#9
|
|
Группа: Пользователи Сообщений: 24 Регистрация: 6.12.2017 Пользователь №: 30681 |
Подскажите, а всегда ли надо избавлять ряд от тренда?
|
|
28.12.2018 - 23:10
Сообщение
#10
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
|
|
29.12.2018 - 01:37
Сообщение
#11
|
|
Группа: Пользователи Сообщений: 24 Регистрация: 6.12.2017 Пользователь №: 30681 |
100$, подскажите, пожалуйста, для моделей экспоненциального сглаживания и АРИМЫ, есть ли предпочтения по кратко и долгосрочному прогнозу? Например, какие модели лучше для долгосрочного прогнозирования, а какие для краткосрочного или разницы нет
|
|
29.12.2018 - 02:35
Сообщение
#12
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
100$, подскажите, пожалуйста, для моделей экспоненциального сглаживания и АРИМЫ, есть ли предпочтения по кратко и долгосрочному прогнозу? Например, какие модели лучше для долгосрочного прогнозирования, а какие для краткосрочного или разницы нет Модель экспоненциального сглаживания (ЭС) - это способ механического (не статистического) выравнивания временного ряда, в то время как АРИМА - полноценная статистическая модель. Это означает, что у экспоненциального сглаживания нет такого понятия как дисперсия прогноза, а у АРИМ'ы - есть. Для ответа на собственные вопросы вам надо смоделировать временной ряд, для части этого ряда (н-р, 80% его длины) подогнать АРИМУ и ЭС, на оставшихся 20% сделать прогноз и рассчитать его дисперсию. Ничего более интересного предложить не могу. Сам ЭС всерьез никогда не воспринимал. |
|
29.12.2018 - 12:51
Сообщение
#13
|
|
Группа: Пользователи Сообщений: 231 Регистрация: 27.04.2016 Пользователь №: 28223 |
Вообще-то на первых страницах любого учебника по прогнозированию на основе временных рядах объясняется, что вопрос
какие модели лучше для долгосрочного прогнозирования, а какие для краткосрочного или разницы нет безотносительно к предметной области лишен всякого смысла. Скажите, для предсказания экономического развития страны один месяц это краткосрочный прогноз или долгосрочный? А для предсказания курса тугрика к доллару? А для предсказания состояния больного? А больного сахарным диабетом или больного, привезенного с сердечным приступом по скорой? А вы даже не сказали нам в какой области медицины (?) вы работаете. Наиболее интуитивно-понятную (но не временнО-упрощенческую) дефиницию периодов статистического прогнозирования я встречал вот примерно такую: " Термины "кратко-", "средне-" и "долго-" не имеют чёткого определения, но должны зависеть от инерционности (способности объекта сохранять свои характеристики в некоторых пределах в течение заданного промежутка времени при незначительных внешних воздействиях на объект) объекта исследования. Так краткосрочным можно назвать прогноз, осуществляемый на срок, не превышающий период инерционности объекта исследования. Главное, что характеризует этот тип прогноза - это то, что исследуемый объект (процесс)сохраняет свою устойчивость. Он не подвержен существенным изменениям и может быть достаточно точно спрогнозирован. Прогнозные методы в случае с краткосрочным прогнозированием должны в большей степени учитывать последние полученные данные. Среднесрочный прогноз - это прогноз на срок, незначительно превышающий период инерционности объекта исследования. В этом случае в динамике показателя может наметиться какая-нибудь тенденция, в частности - изменения параметров модели процесса, которую можно выловить и спрогнозировать с помощью соответствующих математических методов. Долгосрочный прогноз - это прогноз на срок, значительно превышающий период инерционности. Здесь уже динамику показателя спрогнозировать становится практически невозможно: за этот срок может произойти существенное, случайное и абсолютно непредвиденное заранее изменение в поведении объекта исследования. Именно поэтому для прогнозирования на долгий срок нужно обращаться к различным сценариям и использовать в том числе экспертные методы для выбора оптимистичного, пессимистичного и наиболее вероятного из них. Методы расчёта периода инерционности объекта исследования пока практически не разработаны, так что его приходится оценивать "на глаз". Более того, период инерционности очевидным образом меняется от одного объекта исследования к другому." (--->отсюда, кстати, понятно, почему в приведенных выше примерах при одинаковых периодах упреждения сами прогнозы будет относиться к принципиально разным типам и должны выполняться разными математическими или эвристическими инструментами.) Это определение возможно не совсем четкое в математическом смысле, зато дает исследователю хоть какие-то ориентиры. Поэтому если вы хотите осмысленных ответов - приведите семантику вашей задачи. Думаю тогда можно будет предметно говорить и о типе вашего прогноза и о методах, которые имеет смысл применять. Сообщение отредактировал passant - 29.12.2018 - 13:01 |
|
31.12.2018 - 16:11
Сообщение
#14
|
|
Группа: Пользователи Сообщений: 24 Регистрация: 6.12.2017 Пользователь №: 30681 |
Хороший вопрос по поводу того что считать кратко-долгосрочностью
Ну смотрите к примеру есть ряд за 3 года (36 месяцев) по продажам. предсказание на три месяца это краткосрочный прогноз? а на 20 месяцев? или например есть данные по валютам, поминутно агрегированные. В дне 1440 минут. будет ли прогноз от начала дня на на 10 часов т.е. 600 минут вперед долгосрочным? Как определить что краткосрочным является, а что долгосрочным? |
|
31.12.2018 - 17:09
Сообщение
#15
|
|
Группа: Пользователи Сообщений: 902 Регистрация: 23.08.2010 Пользователь №: 22694 |
Хороший вопрос по поводу того что считать кратко-долгосрочностью Ну смотрите к примеру есть ряд за 3 года (36 месяцев) по продажам. предсказание на три месяца это краткосрочный прогноз? а на 20 месяцев? или например есть данные по валютам, поминутно агрегированные. В дне 1440 минут. будет ли прогноз от начала дня на на 10 часов т.е. 600 минут вперед долгосрочным? Как определить что краткосрочным является, а что долгосрочным? Все ваши страдания по пустякам проистекают от незнания давным-давно отлитой в граните эконометрической мудрости: к прогнозированию допускаются модели, у которых на заданном горизонте прогноза MAPE <10%. |
|