Требуется помощь в Statistica, Временные ряды Опции

[DrgLena]

В рамках форума я могу ответить лишь на некоторые ваши вопросы.
Для критерия Bartlett K-S , если число периодов (m-1) более 100 существует формула d=a/sqrt(m-1), где а=1,36 и 1,63 для 5% и 1% уровня значимости. Для <100 обычная таблица К-С для n=m-1.

Вы, почему то, хотите построить гистограмму не для всех частот, - не понятно зачем? Гистограмма нужна чтобы оценить распределение всего ряда периодограмм.

Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза).
Оценки спектральной плотности (Density ) вычисляются путем сглаживания значений периодограммы, а метод выбирается в разделе Спектральные окна, вы выбрали Hamming. Сглаживая периодограмму, можно определить основные частотные области (или спектральные плотности), которые вносят значительный вклад в циклическое поведение ряда.

По 3 вопросу, не имея формулы ничего сказать не могу, дайте ссылку, можно будет проверить.

На рис показаны 42 первых периодов (из234), два из них максимальные, если не убирать сезонную составляющую, как вы делаете, что на мой взгляд не верно, этот пик уходит при удалении сезонной составляющей. По Х - Period, то что в итоговой таблице программы под этим именем. Но, это будет 6/468=0,0128 ? частота, а величина обратная ей 1/0,0128=78 мес. И есть период.
Мне не понятно, почему в ваших данных 468 наблюдений, а в результатах во всех таблицах case 512.

Т.к. последовательные частоты вычисляются как k/n (от k=0 до n/2), где n - число наблюдений ряда, а у вас наблюдений 512, то вы получили первую после нуля частоту 1/512= 0,001953 и соответствующий ей период 512.
В оси Х допущена ошибка в подписи, во втором графике - исправление

Сообщение отредактировал DrgLena - 11.11.2010 - 16:19

Эскизы прикрепленных изображений

 

[Olga44]

1. DrgLena, Спасибо огромное за время, потраченное на мои данные.
2. Представленная периодограмма действительно просто пример, не имеющий отношения к данным - прилагаю результаты Фурье-анализа (в Statistica 6 - конечно, это скорее всего хуже чем 8 - но... что имеем).
3. В Excell прилагаю найденную мной в литературе оценку результатов гармонического анализа с определением доли дисперсии, учитываемой каждой гармоникой (скажите, что вы об этом думаете - почему не получается сложить все эти так называемые доли дисперсии (последний ряд в %) и получить в сумме нечто близкое к 100%? или хотя бы к 90).
4. Теперь по порядку:
- по поводу подготовки данных - сначала пыталась использовать Seasonal decomposition (Census I), где реализовано в принципе обычное скользящее среднее (в моем случае 12-месячное) и работать с тренд-циклом (хорошо удалялась и так понятная частота с периодом 12 месяцев и не забивалась периодограмма и спектрограмма) и далее выделялись остальные циклы. Но курирующие меня люди (со знанием дела!!!, правда, не особо вникая в данные и в целом) забраковали результат, срезюмировав, что удаляя годовую гармонику далее я исследую "писк комара" - мол, она единственная фактически реальная в данных. Но по рядам и по исследованиям прошлых лет выделяются в рядах циклы длиной 7 и 10 лет и более короткие тоже. Поэтому исследование ряда я решила проводить напрямую без сглаживаний, дабы не наводить искусственную цикличность на низких частотах скользящими средними и не логарифмирую и не беру отклонений от нормы.
- объясните, пож., с чем сравнить критерии Fisher-Kappa и Бартлета, которые получаем при построении гистограммы периодограммы, чтобы принять или отклонить нулевую гипотезу;
- и подскажите, пож., как построить гистограмму не для всех частот, а для Исследуемого подмножества периодограммы (т.е. это мне выбрать частоты, вблизи которых определился мой цикл? например, если это 85 мес. и соответствующая частота 0,0117, то в ее окрестности и построить гистограмму распределения? - детский, наверное, вопрос - но на всякий случай);
- расскажите, пож, как получился цикл 78 мес. - у меня такого четко не выходит - по коэффициентам я бы скорее говорила об упомянутом 85 мес. Еще мне не нравятся выделившиеся 512 и 128 мес - это слишком длинные циклы для такого объема исходных данных (мне так кажется) - что делать?
- подскажите, может у вас Help на русском как вычисляется столбец под названием Periodog и Density?
5. Природа данных такова, что для большинства массивов (у меня таких около 100) приблизительно в 90 из них без всякого исследования ясно существование достаточно четкой годовой периодичности (единственное что не со строгой 12-месячной, а с 11-13 месячной гармоникой). Но вот насколько реальны остальные циклы - они то реальны, но мне это еще нужно доказать.
С нетерпением жду Ваших ответов. Спасибо.

Прошу прощения, посмотрела Ваши данные.
На некоторые вопросы, может быть, смогу ответить.
Если вы хотите исследовать высокочастотную часть спектра, то нужно прожде всего снять тренд. На мой взгляд Ваши ряды содержат нелинейный тренд (особенно это становится заметным после удаления сезонной компоненты), который, кстати говоря, може быть частью догопериодной составляющей. Для этого исходный ряд дифференцируют . Т. е. сдвигают ряд и рассматривают ряд, полученный вычитанием исходного и сдвинутого рядов. В этом случае Вы исследуете высокочастотную часть спектра. Если же Вас интересует низкочастотная часть спектра, то Вы это уже делали, удалив сезонную компоненту путем сглаживания с шириной окна = 12. И это, отнюдь, не "писк комара".
Что касается вычисления Periodog, то в литературе приводятся формулы для разложения в ряд Фурье. Амплитуда выделенной для определенной частоты гармоники и будет характеризовать величину Periodog (корень квадратный из суммы квадратов коэффициентов при cos и sin). Density представляет собой сглаженное значение периодограммы. Вы выбираете тип сглаживания по Daniell, Tukey, Hamming ... и задаете величину окна сглаживания. Daniell, Tukey, Hamming определяют коэффициенты сглаживающей функции. Как правило в программе по умолчанию стоит Hamming.
Вообще же хочу отметить, что оценка периодичности рассматриваемого ряда, хотя и является вроде бы достаточно формализозованной процедурой, но в значительной степени является процедурой творческой, и не стоит удивляться, если анализ одного ряда двумя исследователями даст несколько различающиеся результаты. Подчеркиваю - несколько. Следует учесть, что полученные результаты могут изменяться в зависимости от длины ряда.

Эскизы прикрепленных изображений

 

[DrgLena]

Да, красота - это страшная сила. Конечно, выделение циклов само по себе интересное занятие, но olga44 продемонстрировала, как себя ведут все три ряда, именно это очень важно. Второй и третий ряд имеют более близкую цикличность, и это становится ясно при стандартизации и трансформации переменных, а также сонхронизации дат измерения (в 3 ряду два года пропущены, согласно файлу в экселе, а в статистике пропуск в других годах). 2 и 3 ряд на рисунке, совпадение с olga44.

Сообщение отредактировал DrgLena - 11.11.2010 - 13:52

Эскизы прикрепленных изображений

 

[Olga44]

Интересно было бы ответить на вопрос: почему до 1980-81 гг тренд отрицательный, после - положительный. Проверить значимость трендов для первого и второго периода.
Обратить внимание на то, что показатели изменяются согласованно до 1996-1997 гг, затем изменяются в противофазе.
Ответ на эти вопросы может расширить представление о рассматриваемом процессе.

Эскизы прикрепленных изображений

 

[Olga44]

Наверно надо уточнить - речь идет о трендах на прилагаемом в ответе рисунке. А о фазах-противофазах на рис. DrgLena.

[angel-of-crime]

Интересно было бы ответить на вопрос: почему до 1980-81 гг тренд отрицательный, после - положительный. Проверить значимость трендов для первого и второго периода.

Спасибо огромное за внимание к вопросу!!!
Тот ряд, который привели Вы в рисунке - скорее всего эта впадина - это минимум некоего длинного цикла (это, кстати, тоже мысль - проверю значимость трендов - чем не доказательство длинного цикла?). Объясню природу ряда: это наблюдения за уровнем подземных вод на мелиорированной территории (одна из скважин). Мелиорация не влияет на глубокие горизонты, т.е. это скорее всего спад и подъем длиннопериодной составляющей.
Спасибо.

[angel-of-crime]

Наверно надо уточнить - речь идет о трендах на прилагаемом в ответе рисунке. А о фазах-противофазах на рис. DrgLena.

Сейчас попробую разобраться с противофазами - возможно, это наведенное преобразованиями - на прямых рядах этого вроде бы явно не проявляется.
Спасибо

[angel-of-crime]

И была бы Вам, DrgLena и Olga44, крайне признательная, если бы Вы посмотрели приложенные файлы с БПФ разложением в Statistica и пояснением в Word.

Спасибо.

Прикрепленные файлы

 БПФ_c_differencing.rar ( 106,17 килобайт ) Кол-во скачиваний: 332
 Книга.rar ( 2,69 мегабайт ) Кол-во скачиваний: 329

 

[DrgLena]

На это нужно довольно много времени....

Сообщение отредактировал DrgLena - 11.11.2010 - 15:47

[angel-of-crime]

Вот мы сами вместо курирующих товарищей будем ставить зачачу и решать ее, хотя автор поста сформулировал ее гораздо скромнее, доказать, что циклы есть, и все довольны.

Спасибо за внимание!
Действительно задача была скромнее, но приветствуются и благодарна за передачу любых соображений по поводу.

Была бы благодарна, если бы Вы просмотрели приложенное. Единственное что - конечно, я допустила грубейшую ошибку - я не синхронизировала те два пропущенных года в наблюдениях (это я исправлю).

На это нужно довольно много времени....

Конечно. Спасибо.

[DrgLena]

Ответ на один из Ваших вопросов я уже давала, пограмма в итоговой таблице выдает значение периодограммы, при этом,
Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза). Т.е. для 78 мес цикла Periodog = 6,10=(0,081861^2+0,139212^2)*234
Терминология наших академиков и американских программ часто не совпадает. Читайте техническую документацию к программе, если хотите руками все посчитать.

[angel-of-crime]

Ответ на один из Ваших вопросов я уже давала, пограмма в итоговой таблице выдает значение периодограммы, при этом,
Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза). Т.е. для 78 мес цикла Periodog = 6,10=(0,081861^2+0,139212^2)*234
Терминология наших академиков и американских программ часто не совпадает. Читайте техническую документацию к программе, если хотите руками все посчитать.

Ой, точно. Извиняюсь, что так подтормаживаю - про 234 я и не подумала. Да, с терминологией полная беда - поэтому и тыкаюсь как слепой котенок. Интересно, а физический смысл?
Спасибо.

Сообщение отредактировал angel-of-crime - 12.11.2010 - 11:10

[DrgLena]

Программа Statistica, как и программа SAS, которая является эталоном статистического анализа, использует именно эту формулу для расчета periodogram, при этом в документации имеется пояснение:

Several definitions of the term periodogram are used in the spectral analysis literature. The following discussion refers to the Jk sequence as the periodogram.

На той же странице объясняется и физический смысл. Если вы используете советские формулы для оценки вклада каждой гармоники, то должны сначала посчитать periodogram, как известное вам понятие, используя данные о коэффициентах в итоговой таблице.
Документация к временным рядам в SAS занимает более 3000 стр.

[angel-of-crime]

Интересно было бы ответить на вопрос: почему до 1980-81 гг тренд отрицательный, после - положительный. Проверить значимость трендов для первого и второго периода.
Обратить внимание на то, что показатели изменяются согласованно до 1996-1997 гг, затем изменяются в противофазе.
Ответ на эти вопросы может расширить представление о рассматриваемом процессе.

Скажите, пож., эта картинка из Statistici? Что то не могу разобраться как исследовать часть Var (переменной). Подскажите, если не затруднит.
Спасибо.

[Olga44]

Да, с терминологией полная беда - поэтому и тыкаюсь как слепой котенок. Интересно, а физический смысл?

1. Существуют разные формулы для вычисления ординаты периодограммы. Например, М. Кендэл (Временные ряды, 1981 г) приводит ДВА выражения для их вычисления, и использует термин "интенсивность". Такой же термин используют Дж. Бокс и Г. Дженкинс (Анализ временных рядов. Прогноз и управление, вып. 1., 1974). В любом случае, по какой бы формуле Вы не считали, смысл остается прежним - эта величина характеризует амплитуду ряда на заданной частоте. С самого начала, предложенная А. Шустером (1898 г) периодограмма использовалась для обнаружения и оценок амплитуды синусоидальной компоненты, скрытой шумом. Мне в литературе приходилось встречать графики, где этот вопрос решался просто - с ординаты снимали оцифровку и писали название оси - амплитуда. Впрочем, все определяется поставленной задачей, насколько важно для вас по какой формуле производится расчет или Вас интересует структура спектра рассматриваемого ряда.
2. К Вашему вопросу об эквидистантности и стационарности. Эти понятия характеризуют совершенно разные стороны ряда. Ряд будет эквидистантным, если последовательные его элементы равноудалены (по времени, по расстоянию и т.д.). Это никак не связано с понятиями стационарности - нестационарности. Понятие стационарности относится не к способу замера, а к характеристике рассматриваемого процесса. Наиболее простое определение стационарности дано, на мой взгляд, Дж. Боксом и Г. Дженкинсом "Процесс называется строго стационарным, если его СВОЙСТВА не зависят от измерения начала отсчета времени". Стоит упомянуть, что стационарность является ключевым предположением при анализе временных рядов.