Требуется помощь в Statistica, Временные ряды Опции

[angel-of-crime]

Помогите, пожалуйста, с анализом временных рядов, а именно: как на периодограмме спектрального анализа отобразить 95% интервал вероятности белого и красного шумов? Т.е. показать, что определенные в результате этого анализа циклы не являются шумом. Выглядеть это должно, скорее всего, как на картинке. Возможно, я чего-то в корне не понимаю - объясните.

Заранее ОГРОМНОЕ спасибо всем откликнувшимся.

Эскизы прикрепленных изображений

 

[DrgLena]

Вы представили периодограмму не от тех данных, которые в эклесевском файле.
Вы спрашиваете, правомерен ли результат, но результат не представлен. Ничего не известно о том, как ряд готовился к ФУРЬЕ анализу. Все три ряда я не смотрела, но в первом имеется и годовой тренд и сезонная составляющая. Для Фурье, все это нужно учесть, преобразовав ряд соответствующим образом. Программа, предоставляет для этого различные возможности.
Если все это сделано, то приступаете к Фурье. Прежде всего вас интересует есть ли в ряду периодические циклы. Для проверки этого программа предлагает гисторамму периодограмм на которой выдаются значение двух критериев для проверки экспоненциальности их распределения. Если нулевая гипотеза отклоняется, то ваш временной ряд не является белым шумом и в нем присутствуют периодические циклы. Гистограмма может быть построена как для всех частот, так и для Исследуемого подмножества периодограммы. Таким образом, можно проверить является ли ряд белым шумом для выбранных частот. А дальше рассматриваете в итоговой таблице характеристика всех периодов, их будет n/2 или (n-1)/2 и все они вам не нужны. Что считать важным и описывать как результат зависит от цели и здравого смысла.
В представленных вами данных по первому ряду имеется пик, который соответствует периоду в 78 месяцев. Этот же цикл имеется и во втором и в третьем ряду данных. Это беглый взгляд на временные ряды, у меня нет опыта их анализа, нет такого рода данных в моей работе. Я поняла, что результат сильно зависит от предварительной работы с данными, выбор в программе для этого очень большой.
Пропуски данных для Фурье в этой программе заполняются при соответствующем выборе, не нужно отдельно их считать регрессией (8 версия, не знаю, как в других, но кнопочный интерфейс сильно отличается от 6 в этом модуле).

[angel-of-crime]

Вы представили периодограмму не от тех данных, которые в эклесевском файле.
Вы спрашиваете, правомерен ли результат, но результат не представлен. Ничего не известно о том, как ряд готовился к ФУРЬЕ анализу. Все три ряда я не смотрела, но в первом имеется и годовой тренд и сезонная составляющая. Для Фурье, все это нужно учесть, преобразовав ряд соответствующим образом. Программа, предоставляет для этого различные возможности.
Если все это сделано, то приступаете к Фурье. Прежде всего вас интересует есть ли в ряду периодические циклы. Для проверки этого программа предлагает гисторамму периодограмм на которой выдаются значение двух критериев для проверки экспоненциальности их распределения. Если нулевая гипотеза отклоняется, то ваш временной ряд не является белым шумом и в нем присутствуют периодические циклы. Гистограмма может быть построена как для всех частот, так и для Исследуемого подмножества периодограммы. Таким образом, можно проверить является ли ряд белым шумом для выбранных частот. А дальше рассматриваете в итоговой таблице характеристика всех периодов, их будет n/2 или (n-1)/2 и все они вам не нужны. Что считать важным и описывать как результат зависит от цели и здравого смысла.
В представленных вами данных по первому ряду имеется пик, который соответствует периоду в 78 месяцев. Этот же цикл имеется и во втором и в третьем ряду данных. Это беглый взгляд на временные ряды, у меня нет опыта их анализа, нет такого рода данных в моей работе. Я поняла, что результат сильно зависит от предварительной работы с данными, выбор в программе для этого очень большой.
Пропуски данных для Фурье в этой программе заполняются при соответствующем выборе, не нужно отдельно их считать регрессией (8 версия, не знаю, как в других, но кнопочный интерфейс сильно отличается от 6 в этом модуле).

1. DrgLena, Спасибо огромное за время, потраченное на мои данные.
2. Представленная периодограмма действительно просто пример, не имеющий отношения к данным - прилагаю результаты Фурье-анализа (в Statistica 6 - конечно, это скорее всего хуже чем 8 - но... что имеем).
3. В Excell прилагаю найденную мной в литературе оценку результатов гармонического анализа с определением доли дисперсии, учитываемой каждой гармоникой (скажите, что вы об этом думаете - почему не получается сложить все эти так называемые доли дисперсии (последний ряд в %) и получить в сумме нечто близкое к 100%? или хотя бы к 90).
4. Теперь по порядку:
- по поводу подготовки данных - сначала пыталась использовать Seasonal decomposition (Census I), где реализовано в принципе обычное скользящее среднее (в моем случае 12-месячное) и работать с тренд-циклом (хорошо удалялась и так понятная частота с периодом 12 месяцев и не забивалась периодограмма и спектрограмма) и далее выделялись остальные циклы. Но курирующие меня люди (со знанием дела!!!, правда, не особо вникая в данные и в целом) забраковали результат, срезюмировав, что удаляя годовую гармонику далее я исследую "писк комара" - мол, она единственная фактически реальная в данных. Но по рядам и по исследованиям прошлых лет выделяются в рядах циклы длиной 7 и 10 лет и более короткие тоже. Поэтому исследование ряда я решила проводить напрямую без сглаживаний, дабы не наводить искусственную цикличность на низких частотах скользящими средними и не логарифмирую и не беру отклонений от нормы.
- объясните, пож., с чем сравнить критерии Fisher-Kappa и Бартлета, которые получаем при построении гистограммы периодограммы, чтобы принять или отклонить нулевую гипотезу;
- и подскажите, пож., как построить гистограмму не для всех частот, а для Исследуемого подмножества периодограммы (т.е. это мне выбрать частоты, вблизи которых определился мой цикл? например, если это 85 мес. и соответствующая частота 0,0117, то в ее окрестности и построить гистограмму распределения? - детский, наверное, вопрос - но на всякий случай);
- расскажите, пож, как получился цикл 78 мес. - у меня такого четко не выходит - по коэффициентам я бы скорее говорила об упомянутом 85 мес. Еще мне не нравятся выделившиеся 512 и 128 мес - это слишком длинные циклы для такого объема исходных данных (мне так кажется) - что делать?
- подскажите, может у вас Help на русском как вычисляется столбец под названием Periodog и Density?
5. Природа данных такова, что для большинства массивов (у меня таких около 100) приблизительно в 90 из них без всякого исследования ясно существование достаточно четкой годовой периодичности (единственное что не со строгой 12-месячной, а с 11-13 месячной гармоникой). Но вот насколько реальны остальные циклы - они то реальны, но мне это еще нужно доказать.
С нетерпением жду Ваших ответов. Спасибо.

Прикрепленные файлы

 БПФ.rar ( 62,76 килобайт ) Кол-во скачиваний: 439

 

[Olga44]

1. DrgLena, Спасибо огромное за время, потраченное на мои данные.
2. Представленная периодограмма действительно просто пример, не имеющий отношения к данным - прилагаю результаты Фурье-анализа (в Statistica 6 - конечно, это скорее всего хуже чем 8 - но... что имеем).
3. В Excell прилагаю найденную мной в литературе оценку результатов гармонического анализа с определением доли дисперсии, учитываемой каждой гармоникой (скажите, что вы об этом думаете - почему не получается сложить все эти так называемые доли дисперсии (последний ряд в %) и получить в сумме нечто близкое к 100%? или хотя бы к 90).
4. Теперь по порядку:
- по поводу подготовки данных - сначала пыталась использовать Seasonal decomposition (Census I), где реализовано в принципе обычное скользящее среднее (в моем случае 12-месячное) и работать с тренд-циклом (хорошо удалялась и так понятная частота с периодом 12 месяцев и не забивалась периодограмма и спектрограмма) и далее выделялись остальные циклы. Но курирующие меня люди (со знанием дела!!!, правда, не особо вникая в данные и в целом) забраковали результат, срезюмировав, что удаляя годовую гармонику далее я исследую "писк комара" - мол, она единственная фактически реальная в данных. Но по рядам и по исследованиям прошлых лет выделяются в рядах циклы длиной 7 и 10 лет и более короткие тоже. Поэтому исследование ряда я решила проводить напрямую без сглаживаний, дабы не наводить искусственную цикличность на низких частотах скользящими средними и не логарифмирую и не беру отклонений от нормы.
- объясните, пож., с чем сравнить критерии Fisher-Kappa и Бартлета, которые получаем при построении гистограммы периодограммы, чтобы принять или отклонить нулевую гипотезу;
- и подскажите, пож., как построить гистограмму не для всех частот, а для Исследуемого подмножества периодограммы (т.е. это мне выбрать частоты, вблизи которых определился мой цикл? например, если это 85 мес. и соответствующая частота 0,0117, то в ее окрестности и построить гистограмму распределения? - детский, наверное, вопрос - но на всякий случай);
- расскажите, пож, как получился цикл 78 мес. - у меня такого четко не выходит - по коэффициентам я бы скорее говорила об упомянутом 85 мес. Еще мне не нравятся выделившиеся 512 и 128 мес - это слишком длинные циклы для такого объема исходных данных (мне так кажется) - что делать?
- подскажите, может у вас Help на русском как вычисляется столбец под названием Periodog и Density?
5. Природа данных такова, что для большинства массивов (у меня таких около 100) приблизительно в 90 из них без всякого исследования ясно существование достаточно четкой годовой периодичности (единственное что не со строгой 12-месячной, а с 11-13 месячной гармоникой). Но вот насколько реальны остальные циклы - они то реальны, но мне это еще нужно доказать.
С нетерпением жду Ваших ответов. Спасибо.

Прошу прощения, посмотрела Ваши данные.
На некоторые вопросы, может быть, смогу ответить.
Если вы хотите исследовать высокочастотную часть спектра, то нужно прожде всего снять тренд. На мой взгляд Ваши ряды содержат нелинейный тренд (особенно это становится заметным после удаления сезонной компоненты), который, кстати говоря, може быть частью догопериодной составляющей. Для этого исходный ряд дифференцируют . Т. е. сдвигают ряд и рассматривают ряд, полученный вычитанием исходного и сдвинутого рядов. В этом случае Вы исследуете высокочастотную часть спектра. Если же Вас интересует низкочастотная часть спектра, то Вы это уже делали, удалив сезонную компоненту путем сглаживания с шириной окна = 12. И это, отнюдь, не "писк комара".
Что касается вычисления Periodog, то в литературе приводятся формулы для разложения в ряд Фурье. Амплитуда выделенной для определенной частоты гармоники и будет характеризовать величину Periodog (корень квадратный из суммы квадратов коэффициентов при cos и sin). Density представляет собой сглаженное значение периодограммы. Вы выбираете тип сглаживания по Daniell, Tukey, Hamming ... и задаете величину окна сглаживания. Daniell, Tukey, Hamming определяют коэффициенты сглаживающей функции. Как правило в программе по умолчанию стоит Hamming.
Вообще же хочу отметить, что оценка периодичности рассматриваемого ряда, хотя и является вроде бы достаточно формализозованной процедурой, но в значительной степени является процедурой творческой, и не стоит удивляться, если анализ одного ряда двумя исследователями даст несколько различающиеся результаты. Подчеркиваю - несколько. Следует учесть, что полученные результаты могут изменяться в зависимости от длины ряда.

Эскизы прикрепленных изображений