Помощь - Поиск - Пользователи - Календарь
Полная версия этой страницы: Требуется помощь в Statistica
Форум врачей-аспирантов > Разделы форума > Медицинская статистика
Страницы: 1, 2
angel-of-crime
Помогите, пожалуйста, с анализом временных рядов, а именно: как на периодограмме спектрального анализа отобразить 95% интервал вероятности белого и красного шумов? Т.е. показать, что определенные в результате этого анализа циклы не являются шумом. Выглядеть это должно, скорее всего, как на картинке. Возможно, я чего-то в корне не понимаю - объясните.

Заранее ОГРОМНОЕ спасибо всем откликнувшимся.
angel-of-crime
HELP!!! Специалисты, откликнитесь, please.
nokh
С периодограммами сталкивался, но не знаю существует ли вообще такая возможность. Знаю, что можно в шуме искать периодические составляющие, но чтобы в периодическом явлении искать шумовые компоненты, да ещё такие конкретные - именно белый и красный шум (?) - не знаю. Можете перепостить вопрос сюда: http://www.nsu.ru/phpBB/viewforum.php?f=20...f36116b43c2c86b . Хоть эконометристы и не технари, но с периодограммами работают куда чаще.
100$
Посмотрите здесь:

http://docs.google.com/viewer?a=v&q=ca...B9Jgy8VH0pIqlsQ

стр. 59 - оценивание значимости пиков периодограммы
Если пик значим, значит он порожден не (белым) шумом

И в виде дружеского жеста просветите, что это за зверь такой красный шум? То, что существует термин "цветной" шум, я в курсе. Только не знаю, красный и цветной шум - это синонимы, или нет
Игорь
Немного добавлю
Цитата(100$ @ 6.11.2010 - 18:18) *
Посмотрите здесь:
...
стр. 59 - оценивание значимости пиков периодограммы
Если пик значим, значит он порожден не (белым) шумом

Лучше взять источник здесь http://www.nbuv.gov.ua/portal/natural/ikao...103_1/56-69.pdf
Цитата(100$ @ 6.11.2010 - 18:18) *
И в виде дружеского жеста просветите, что это за зверь такой красный шум? То, что существует термин "цветной" шум, я в курсе. Только не знаю, красный и цветной шум - это синонимы, или нет

Как обычно, в Википедии: http://ru.wikipedia.org/wiki/Красный_шум
И тут: http://ru.wikipedia.org/wiki/Цвета_шума

Можно было бы в AtteStat ввести данные методы (есть и модуль соответствующий), однако, это, к сожалению, никому не нужно.
Olga44
Цитата(angel-of-crime @ 4.11.2010 - 19:57) *
Помогите, пожалуйста, с анализом временных рядов, а именно: как на периодограмме спектрального анализа отобразить 95% интервал вероятности белого и красного шумов? Т.е. показать, что определенные в результате этого анализа циклы не являются шумом. Выглядеть это должно, скорее всего, как на картинке. Возможно, я чего-то в корне не понимаю - объясните.

Заранее ОГРОМНОЕ спасибо всем откликнувшимся.


Можно посмотреть в электронном учебнике по статистике http://www.statsoft.ru/home/textbook/default.htm
А в нем Временные ряды - далее Спектральный анализ - основные понятия и принципы, далее Подготовка данных к анализу и результаты ... Правда, там лишь представление о белом шуме. 95% границы для белого шума в пакете Статистика автоматически выделяются при построении автокорреляционной функции.
angel-of-crime
[quote name='Игорь' date='6.11.2010 - 19:05' post='10877']
Немного добавлю

Лучше взять источник здесь http://www.nbuv.gov.ua/portal/natural/ikao...103_1/56-69.pdf

Cпасибо, Игорь и всем кто откликнулся.
К сожалению, в посоветованной Вами литературе авторы используют частоту Найквиста, ниже которой просто считают пики периодограммы незначимыми. И они в этом не одиноки - так делают практически все, но вот у меня, к сожалению, задача другая будет. В целом - это уже анализ периодограмм и такой литературы я как-то не встречала. Нужно попробовать эту программку Attestat.
angel-of-crime
Цитата(nokh @ 6.11.2010 - 12:14) *
С периодограммами сталкивался, но не знаю существует ли вообще такая возможность. Знаю, что можно в шуме искать периодические составляющие, но чтобы в периодическом явлении искать шумовые компоненты, да ещё такие конкретные - именно белый и красный шум (?) - не знаю. Можете перепостить вопрос сюда: http://www.nsu.ru/phpBB/viewforum.php?f=20...f36116b43c2c86b . Хоть эконометристы и не технари, но с периодограммами работают куда чаще.



Может, тогда есть возможность в Statistica скажем посчитать часть спектра, учитываемую каждой гармоникой?
DrgLena
Цитата(angel-of-crime @ 8.11.2010 - 11:50) *
но вот у меня, к сожалению, задача другая будет.

К сожалению, не понятно, какова именно Ваша задача, что вы хотите получить от Фурье анализа.
Цитата(angel-of-crime @ 8.11.2010 - 11:50) *
В целом - это уже анализ периодограмм и такой литературы я как-то не встречала.

Какой именно анализ периодограмм нужен, чего нет, например, в двухтомнике у Дж. Бокса.
Будет понятней, если вы выложите на форум свой временной ряд (не важно, из какой области, ряд Х) и цель анализа. На этом форуме практически не обсуждались временные ряды. Кроме Statistica есть и другие программы.
angel-of-crime
Какой именно анализ периодограмм нужен, чего нет, например, в двухтомнике у Дж. Бокса.
Будет понятней, если вы выложите на форум свой временной ряд (не важно, из какой области, ряд Х) и цель анализа. На этом форуме практически не обсуждались временные ряды. Кроме Statistica есть и другие программы.
[/quote]

Спасибо, что откликнулись. Вот для примера 3 ряда (выложила в Excell). Их нужно исследовать на присутствие периодичностей. Полученные периоды оценить - не шум ли это различного цвета и какая гармоника выбирает максимальную часть спектра (возможно их будет несколько).

Еще раз спасибо.
DrgLena
В третьем листе 2004 год - пропуск данных, как и в 2003?
angel-of-crime
Цитата(DrgLena @ 8.11.2010 - 18:39) *
В третьем листе 2004 год - пропуск данных, как и в 2003?


Да, к сожалению, пропуски есть. Я их пыталась восстанавливать моделями АРПСС, но гармоники Фурье-анализа оставались такими же. Поэтому решила проигнорировать. Как вы считаете - результат неадекватный?
angel-of-crime
Жуткая путаница с переплетением гармонического и спектрального анализов. А как же все-таки определить имеется ли выделенный цикл в исследуемом ряду или это только игра воображения и вообще грамотно ли говорить о том, что некий цикл выбирает определенную часть спектра - непонятно!

И должны ли ряды быть стационарными или же достаточно того, что они эквидистантны?
DrgLena
Вы представили периодограмму не от тех данных, которые в эклесевском файле.
Вы спрашиваете, правомерен ли результат, но результат не представлен. Ничего не известно о том, как ряд готовился к ФУРЬЕ анализу. Все три ряда я не смотрела, но в первом имеется и годовой тренд и сезонная составляющая. Для Фурье, все это нужно учесть, преобразовав ряд соответствующим образом. Программа, предоставляет для этого различные возможности.
Если все это сделано, то приступаете к Фурье. Прежде всего вас интересует есть ли в ряду периодические циклы. Для проверки этого программа предлагает гисторамму периодограмм на которой выдаются значение двух критериев для проверки экспоненциальности их распределения. Если нулевая гипотеза отклоняется, то ваш временной ряд не является белым шумом и в нем присутствуют периодические циклы. Гистограмма может быть построена как для всех частот, так и для Исследуемого подмножества периодограммы. Таким образом, можно проверить является ли ряд белым шумом для выбранных частот. А дальше рассматриваете в итоговой таблице характеристика всех периодов, их будет n/2 или (n-1)/2 и все они вам не нужны. Что считать важным и описывать как результат зависит от цели и здравого смысла.
В представленных вами данных по первому ряду имеется пик, который соответствует периоду в 78 месяцев. Этот же цикл имеется и во втором и в третьем ряду данных. Это беглый взгляд на временные ряды, у меня нет опыта их анализа, нет такого рода данных в моей работе. Я поняла, что результат сильно зависит от предварительной работы с данными, выбор в программе для этого очень большой.
Пропуски данных для Фурье в этой программе заполняются при соответствующем выборе, не нужно отдельно их считать регрессией (8 версия, не знаю, как в других, но кнопочный интерфейс сильно отличается от 6 в этом модуле).
angel-of-crime
Цитата(DrgLena @ 10.11.2010 - 12:10) *
Вы представили периодограмму не от тех данных, которые в эклесевском файле.
Вы спрашиваете, правомерен ли результат, но результат не представлен. Ничего не известно о том, как ряд готовился к ФУРЬЕ анализу. Все три ряда я не смотрела, но в первом имеется и годовой тренд и сезонная составляющая. Для Фурье, все это нужно учесть, преобразовав ряд соответствующим образом. Программа, предоставляет для этого различные возможности.
Если все это сделано, то приступаете к Фурье. Прежде всего вас интересует есть ли в ряду периодические циклы. Для проверки этого программа предлагает гисторамму периодограмм на которой выдаются значение двух критериев для проверки экспоненциальности их распределения. Если нулевая гипотеза отклоняется, то ваш временной ряд не является белым шумом и в нем присутствуют периодические циклы. Гистограмма может быть построена как для всех частот, так и для Исследуемого подмножества периодограммы. Таким образом, можно проверить является ли ряд белым шумом для выбранных частот. А дальше рассматриваете в итоговой таблице характеристика всех периодов, их будет n/2 или (n-1)/2 и все они вам не нужны. Что считать важным и описывать как результат зависит от цели и здравого смысла.
В представленных вами данных по первому ряду имеется пик, который соответствует периоду в 78 месяцев. Этот же цикл имеется и во втором и в третьем ряду данных. Это беглый взгляд на временные ряды, у меня нет опыта их анализа, нет такого рода данных в моей работе. Я поняла, что результат сильно зависит от предварительной работы с данными, выбор в программе для этого очень большой.
Пропуски данных для Фурье в этой программе заполняются при соответствующем выборе, не нужно отдельно их считать регрессией (8 версия, не знаю, как в других, но кнопочный интерфейс сильно отличается от 6 в этом модуле).


1. DrgLena, Спасибо огромное за время, потраченное на мои данные.
2. Представленная периодограмма действительно просто пример, не имеющий отношения к данным - прилагаю результаты Фурье-анализа (в Statistica 6 - конечно, это скорее всего хуже чем 8 - но... что имеем).
3. В Excell прилагаю найденную мной в литературе оценку результатов гармонического анализа с определением доли дисперсии, учитываемой каждой гармоникой (скажите, что вы об этом думаете - почему не получается сложить все эти так называемые доли дисперсии (последний ряд в %) и получить в сумме нечто близкое к 100%? или хотя бы к 90).
4. Теперь по порядку:
- по поводу подготовки данных - сначала пыталась использовать Seasonal decomposition (Census I), где реализовано в принципе обычное скользящее среднее (в моем случае 12-месячное) и работать с тренд-циклом (хорошо удалялась и так понятная частота с периодом 12 месяцев и не забивалась периодограмма и спектрограмма) и далее выделялись остальные циклы. Но курирующие меня люди (со знанием дела!!!, правда, не особо вникая в данные и в целом) забраковали результат, срезюмировав, что удаляя годовую гармонику далее я исследую "писк комара" - мол, она единственная фактически реальная в данных. Но по рядам и по исследованиям прошлых лет выделяются в рядах циклы длиной 7 и 10 лет и более короткие тоже. Поэтому исследование ряда я решила проводить напрямую без сглаживаний, дабы не наводить искусственную цикличность на низких частотах скользящими средними и не логарифмирую и не беру отклонений от нормы.
- объясните, пож., с чем сравнить критерии Fisher-Kappa и Бартлета, которые получаем при построении гистограммы периодограммы, чтобы принять или отклонить нулевую гипотезу;
- и подскажите, пож., как построить гистограмму не для всех частот, а для Исследуемого подмножества периодограммы (т.е. это мне выбрать частоты, вблизи которых определился мой цикл? например, если это 85 мес. и соответствующая частота 0,0117, то в ее окрестности и построить гистограмму распределения? - детский, наверное, вопрос - но на всякий случай);
- расскажите, пож, как получился цикл 78 мес. - у меня такого четко не выходит - по коэффициентам я бы скорее говорила об упомянутом 85 мес. Еще мне не нравятся выделившиеся 512 и 128 мес - это слишком длинные циклы для такого объема исходных данных (мне так кажется) - что делать?
- подскажите, может у вас Help на русском как вычисляется столбец под названием Periodog и Density?
5. Природа данных такова, что для большинства массивов (у меня таких около 100) приблизительно в 90 из них без всякого исследования ясно существование достаточно четкой годовой периодичности (единственное что не со строгой 12-месячной, а с 11-13 месячной гармоникой). Но вот насколько реальны остальные циклы - они то реальны, но мне это еще нужно доказать.
С нетерпением жду Ваших ответов. Спасибо.
DrgLena
В рамках форума я могу ответить лишь на некоторые ваши вопросы.
Для критерия Bartlett K-S , если число периодов (m-1) более 100 существует формула d=a/sqrt(m-1), где а=1,36 и 1,63 для 5% и 1% уровня значимости. Для <100 обычная таблица К-С для n=m-1.

Вы, почему то, хотите построить гистограмму не для всех частот, - не понятно зачем? Гистограмма нужна чтобы оценить распределение всего ряда периодограмм.

Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза).
Оценки спектральной плотности (Density ) вычисляются путем сглаживания значений периодограммы, а метод выбирается в разделе Спектральные окна, вы выбрали Hamming. Сглаживая периодограмму, можно определить основные частотные области (или спектральные плотности), которые вносят значительный вклад в циклическое поведение ряда.

По 3 вопросу, не имея формулы ничего сказать не могу, дайте ссылку, можно будет проверить.

На рис показаны 42 первых периодов (из234), два из них максимальные, если не убирать сезонную составляющую, как вы делаете, что на мой взгляд не верно, этот пик уходит при удалении сезонной составляющей. По Х - Period, то что в итоговой таблице программы под этим именем. Но, это будет 6/468=0,0128 ? частота, а величина обратная ей 1/0,0128=78 мес. И есть период.
Мне не понятно, почему в ваших данных 468 наблюдений, а в результатах во всех таблицах case 512.

Т.к. последовательные частоты вычисляются как k/n (от k=0 до n/2), где n - число наблюдений ряда, а у вас наблюдений 512, то вы получили первую после нуля частоту 1/512= 0,001953 и соответствующий ей период 512.
В оси Х допущена ошибка в подписи, во втором графике - исправление
Olga44
Цитата(angel-of-crime @ 10.11.2010 - 17:40) *
1. DrgLena, Спасибо огромное за время, потраченное на мои данные.
2. Представленная периодограмма действительно просто пример, не имеющий отношения к данным - прилагаю результаты Фурье-анализа (в Statistica 6 - конечно, это скорее всего хуже чем 8 - но... что имеем).
3. В Excell прилагаю найденную мной в литературе оценку результатов гармонического анализа с определением доли дисперсии, учитываемой каждой гармоникой (скажите, что вы об этом думаете - почему не получается сложить все эти так называемые доли дисперсии (последний ряд в %) и получить в сумме нечто близкое к 100%? или хотя бы к 90).
4. Теперь по порядку:
- по поводу подготовки данных - сначала пыталась использовать Seasonal decomposition (Census I), где реализовано в принципе обычное скользящее среднее (в моем случае 12-месячное) и работать с тренд-циклом (хорошо удалялась и так понятная частота с периодом 12 месяцев и не забивалась периодограмма и спектрограмма) и далее выделялись остальные циклы. Но курирующие меня люди (со знанием дела!!!, правда, не особо вникая в данные и в целом) забраковали результат, срезюмировав, что удаляя годовую гармонику далее я исследую "писк комара" - мол, она единственная фактически реальная в данных. Но по рядам и по исследованиям прошлых лет выделяются в рядах циклы длиной 7 и 10 лет и более короткие тоже. Поэтому исследование ряда я решила проводить напрямую без сглаживаний, дабы не наводить искусственную цикличность на низких частотах скользящими средними и не логарифмирую и не беру отклонений от нормы.
- объясните, пож., с чем сравнить критерии Fisher-Kappa и Бартлета, которые получаем при построении гистограммы периодограммы, чтобы принять или отклонить нулевую гипотезу;
- и подскажите, пож., как построить гистограмму не для всех частот, а для Исследуемого подмножества периодограммы (т.е. это мне выбрать частоты, вблизи которых определился мой цикл? например, если это 85 мес. и соответствующая частота 0,0117, то в ее окрестности и построить гистограмму распределения? - детский, наверное, вопрос - но на всякий случай);
- расскажите, пож, как получился цикл 78 мес. - у меня такого четко не выходит - по коэффициентам я бы скорее говорила об упомянутом 85 мес. Еще мне не нравятся выделившиеся 512 и 128 мес - это слишком длинные циклы для такого объема исходных данных (мне так кажется) - что делать?
- подскажите, может у вас Help на русском как вычисляется столбец под названием Periodog и Density?
5. Природа данных такова, что для большинства массивов (у меня таких около 100) приблизительно в 90 из них без всякого исследования ясно существование достаточно четкой годовой периодичности (единственное что не со строгой 12-месячной, а с 11-13 месячной гармоникой). Но вот насколько реальны остальные циклы - они то реальны, но мне это еще нужно доказать.
С нетерпением жду Ваших ответов. Спасибо.


Прошу прощения, посмотрела Ваши данные.
На некоторые вопросы, может быть, смогу ответить.
Если вы хотите исследовать высокочастотную часть спектра, то нужно прожде всего снять тренд. На мой взгляд Ваши ряды содержат нелинейный тренд (особенно это становится заметным после удаления сезонной компоненты), который, кстати говоря, може быть частью догопериодной составляющей. Для этого исходный ряд дифференцируют . Т. е. сдвигают ряд и рассматривают ряд, полученный вычитанием исходного и сдвинутого рядов. В этом случае Вы исследуете высокочастотную часть спектра. Если же Вас интересует низкочастотная часть спектра, то Вы это уже делали, удалив сезонную компоненту путем сглаживания с шириной окна = 12. И это, отнюдь, не "писк комара".
Что касается вычисления Periodog, то в литературе приводятся формулы для разложения в ряд Фурье. Амплитуда выделенной для определенной частоты гармоники и будет характеризовать величину Periodog (корень квадратный из суммы квадратов коэффициентов при cos и sin). Density представляет собой сглаженное значение периодограммы. Вы выбираете тип сглаживания по Daniell, Tukey, Hamming ... и задаете величину окна сглаживания. Daniell, Tukey, Hamming определяют коэффициенты сглаживающей функции. Как правило в программе по умолчанию стоит Hamming.
Вообще же хочу отметить, что оценка периодичности рассматриваемого ряда, хотя и является вроде бы достаточно формализозованной процедурой, но в значительной степени является процедурой творческой, и не стоит удивляться, если анализ одного ряда двумя исследователями даст несколько различающиеся результаты. Подчеркиваю - несколько. Следует учесть, что полученные результаты могут изменяться в зависимости от длины ряда.
DrgLena
Да, красота - это страшная сила. Конечно, выделение циклов само по себе интересное занятие, но olga44 продемонстрировала, как себя ведут все три ряда, именно это очень важно. Второй и третий ряд имеют более близкую цикличность, и это становится ясно при стандартизации и трансформации переменных, а также сонхронизации дат измерения (в 3 ряду два года пропущены, согласно файлу в экселе, а в статистике пропуск в других годах). 2 и 3 ряд на рисунке, совпадение с olga44.
Olga44
Интересно было бы ответить на вопрос: почему до 1980-81 гг тренд отрицательный, после - положительный. Проверить значимость трендов для первого и второго периода.
Обратить внимание на то, что показатели изменяются согласованно до 1996-1997 гг, затем изменяются в противофазе.
Ответ на эти вопросы может расширить представление о рассматриваемом процессе.
Olga44
Наверно надо уточнить - речь идет о трендах на прилагаемом в ответе рисунке. А о фазах-противофазах на рис. DrgLena.
angel-of-crime
Цитата(Olga44 @ 11.11.2010 - 15:11) *
Интересно было бы ответить на вопрос: почему до 1980-81 гг тренд отрицательный, после - положительный. Проверить значимость трендов для первого и второго периода.


Спасибо огромное за внимание к вопросу!!!
Тот ряд, который привели Вы в рисунке - скорее всего эта впадина - это минимум некоего длинного цикла (это, кстати, тоже мысль - проверю значимость трендов - чем не доказательство длинного цикла?). Объясню природу ряда: это наблюдения за уровнем подземных вод на мелиорированной территории (одна из скважин). Мелиорация не влияет на глубокие горизонты, т.е. это скорее всего спад и подъем длиннопериодной составляющей.
Спасибо.
angel-of-crime
Цитата(Olga44 @ 11.11.2010 - 15:15) *
Наверно надо уточнить - речь идет о трендах на прилагаемом в ответе рисунке. А о фазах-противофазах на рис. DrgLena.


Сейчас попробую разобраться с противофазами - возможно, это наведенное преобразованиями - на прямых рядах этого вроде бы явно не проявляется.
Спасибо
angel-of-crime
И была бы Вам, DrgLena и Olga44, крайне признательная, если бы Вы посмотрели приложенные файлы с БПФ разложением в Statistica и пояснением в Word.

Спасибо.
DrgLena
На это нужно довольно много времени....
angel-of-crime
Цитата(DrgLena @ 11.11.2010 - 16:44) *
Вот мы сами вместо курирующих товарищей будем ставить зачачу и решать ее, хотя автор поста сформулировал ее гораздо скромнее, доказать, что циклы есть, и все довольны.


Спасибо за внимание!
Действительно задача была скромнее, но приветствуются и благодарна за передачу любых соображений по поводу.

Была бы благодарна, если бы Вы просмотрели приложенное. Единственное что - конечно, я допустила грубейшую ошибку - я не синхронизировала те два пропущенных года в наблюдениях (это я исправлю).

Цитата(DrgLena @ 11.11.2010 - 16:44) *
На это нужно довольно много времени....


Конечно. Спасибо.
DrgLena
Ответ на один из Ваших вопросов я уже давала, пограмма в итоговой таблице выдает значение периодограммы, при этом,
Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза). Т.е. для 78 мес цикла Periodog = 6,10=(0,081861^2+0,139212^2)*234
Терминология наших академиков и американских программ часто не совпадает. Читайте техническую документацию к программе, если хотите руками все посчитать.
angel-of-crime
Цитата(DrgLena @ 11.11.2010 - 23:14) *
Ответ на один из Ваших вопросов я уже давала, пограмма в итоговой таблице выдает значение периодограммы, при этом,
Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза). Т.е. для 78 мес цикла Periodog = 6,10=(0,081861^2+0,139212^2)*234
Терминология наших академиков и американских программ часто не совпадает. Читайте техническую документацию к программе, если хотите руками все посчитать.


Ой, точно. Извиняюсь, что так подтормаживаю - про 234 я и не подумала. Да, с терминологией полная беда - поэтому и тыкаюсь как слепой котенок. Интересно, а физический смысл?
Спасибо.
DrgLena
Программа Statistica, как и программа SAS, которая является эталоном статистического анализа, использует именно эту формулу для расчета periodogram, при этом в документации имеется пояснение:

Several definitions of the term periodogram are used in the spectral analysis literature. The following discussion refers to the Jk sequence as the periodogram.

На той же странице объясняется и физический смысл. Если вы используете советские формулы для оценки вклада каждой гармоники, то должны сначала посчитать periodogram, как известное вам понятие, используя данные о коэффициентах в итоговой таблице.
Документация к временным рядам в SAS занимает более 3000 стр.
angel-of-crime
Цитата(Olga44 @ 11.11.2010 - 16:11) *
Интересно было бы ответить на вопрос: почему до 1980-81 гг тренд отрицательный, после - положительный. Проверить значимость трендов для первого и второго периода.
Обратить внимание на то, что показатели изменяются согласованно до 1996-1997 гг, затем изменяются в противофазе.
Ответ на эти вопросы может расширить представление о рассматриваемом процессе.

Скажите, пож., эта картинка из Statistici? Что то не могу разобраться как исследовать часть Var (переменной). Подскажите, если не затруднит.
Спасибо.
Olga44

Цитата(angel-of-crime @ 12.11.2010 - 10:03) *
Да, с терминологией полная беда - поэтому и тыкаюсь как слепой котенок. Интересно, а физический смысл?


1. Существуют разные формулы для вычисления ординаты периодограммы. Например, М. Кендэл (Временные ряды, 1981 г) приводит ДВА выражения для их вычисления, и использует термин "интенсивность". Такой же термин используют Дж. Бокс и Г. Дженкинс (Анализ временных рядов. Прогноз и управление, вып. 1., 1974). В любом случае, по какой бы формуле Вы не считали, смысл остается прежним - эта величина характеризует амплитуду ряда на заданной частоте. С самого начала, предложенная А. Шустером (1898 г) периодограмма использовалась для обнаружения и оценок амплитуды синусоидальной компоненты, скрытой шумом. Мне в литературе приходилось встречать графики, где этот вопрос решался просто - с ординаты снимали оцифровку и писали название оси - амплитуда. Впрочем, все определяется поставленной задачей, насколько важно для вас по какой формуле производится расчет или Вас интересует структура спектра рассматриваемого ряда.
2. К Вашему вопросу об эквидистантности и стационарности. Эти понятия характеризуют совершенно разные стороны ряда. Ряд будет эквидистантным, если последовательные его элементы равноудалены (по времени, по расстоянию и т.д.). Это никак не связано с понятиями стационарности - нестационарности. Понятие стационарности относится не к способу замера, а к характеристике рассматриваемого процесса. Наиболее простое определение стационарности дано, на мой взгляд, Дж. Боксом и Г. Дженкинсом "Процесс называется строго стационарным, если его СВОЙСТВА не зависят от измерения начала отсчета времени". Стоит упомянуть, что стационарность является ключевым предположением при анализе временных рядов.
Olga44
Цитата(DrgLena @ 11.11.2010 - 02:31) *
На рис показаны 42 первых периодов (из234), два из них максимальные, если не убирать сезонную составляющую, как вы делаете, что на мой взгляд не верно, этот пик уходит при удалении сезонной составляющей. В оси Х допущена ошибка в подписи, во втором графике - исправление


У меня к Вам просьба: покажите, пожалуйста, периодограмму полностью для всего интервала частот (периодов). Очень хочется увидеть как выделенные пики выглядят на фоне всего спектра.
На оси Х, как правило, откладывают либо периоды, либо частоту. В выбранном вами варианте оцифровка оси Х малоинформативна, тем более в ответе Вы уже указали на то, какую часть спектра Вы хотели изобразить.
И вопрос-просьба. Могу ли я получить те данные по которым Вы строили периодограмму? Я поняла, что в исходном ряду была ошибка. Вы строили по уже исправленному ряду?
DrgLena
Программа, если вы укажете диапазон от 0 до 42 , выдаст график Periodog от частоты. Я сделала график так, чтобы показать еще и спектральную плотность, при этом мне было проще указать номер частоты по порядку, предполагая, что итоговая таблица под рукой и там указаны и частоты и соответствующие им циклы в месяцах. Но, напрягаясь, можно сделать и так, как в прилагаемом рисунке. Я уже писала, что не считаю верным использовать ряд без предварительной подготовки, как это сделала первоначально автор поста. Я использовала данные предоставленные в экселе, поскольку там есть привязка ко времени, исправив в статистике ошибку в датах и удаляя наблюдение, в котором в трех рядах были нулевые значения. Отсутствующие данные обработаны interpolation from adjacent point. Ряд не стандартизирован.
Весь ряд, но уже без спектральной плотности, т.к. будет очень много точек, то что программа выдает по умолчанию, по Вашей просьбе.
angel-of-crime
Цитата(Olga44 @ 13.11.2010 - 02:24) *
И вопрос-просьба. Могу ли я получить те данные по которым Вы строили периодограмму? Я поняла, что в исходном ряду была ошибка. Вы строили по уже исправленному ряду?


В начале темы есть три ряда в Excell, выкладываю уже исправленные в Statistica. Пропуски - это отсутствие данных.
angel-of-crime
Цитата(Olga44 @ 13.11.2010 - 01:29) *
2. К Вашему вопросу об эквидистантности и стационарности. Эти понятия характеризуют совершенно разные стороны ряда. Ряд будет эквидистантным, если последовательные его элементы равноудалены (по времени, по расстоянию и т.д.). Это никак не связано с понятиями стационарности - нестационарности. Понятие стационарности относится не к способу замера, а к характеристике рассматриваемого процесса. Наиболее простое определение стационарности дано, на мой взгляд, Дж. Боксом и Г. Дженкинсом "Процесс называется строго стационарным, если его СВОЙСТВА не зависят от измерения начала отсчета времени". Стоит упомянуть, что стационарность является ключевым предположением при анализе временных рядов.


Спасибо - очень емко и со ссылками. Так вот я в литературе встречала двоякое отношение к вопросу - для одних авторов, чтобы применить спектральный анализ ряд не обязательно должен быть стационарным, достаточно того, что замеры происходили за равноотстоящие промежутки времени, для других же - это непременное условие применения данного вида анализа временных рядов. Если следовать второму, то ... я на ложном пути и не имею права проводить этот анализ вовсе?
angel-of-crime
Ну и посмотрите, пож., на проведенный анализ. Я почти пошла по предложенной Olda44 схеме и выполнила следующее:
1. Ряд данных без всяких преобразований я разложила с помощью БПФ ? получила определенные частоты и периоды.
2. Проведя процедуру differencing (вычитание со сдвигом на 1) я разложила ряд данных с помощью БПФ ? для исследования высокочастотной части спектра ? получила определенные частоты и периоды (а точнее вообще почти ничего не получила). Это означает, что у меня нет годового периода в рядах 655 и 643?
3. Проведя процедуру скользящего среднего с окном 12 (год) разложила ряд данных с помощью БПФ ? для исследования низкочастотной части спектра ? получила частоты и периоды.

Вот теперь встает вопрос - если думать, что выделенные периоды есть (!) в ряду, основываясь на гистограмме распределения периодограммы (опираясь на статистику Bartlett K-S ? см. ранее в теме), как теперь определить, какая из гармоник выбирает максимальную часть спектра. Грубо говоря, какой из циклов проявляется ?лучше?. Литературы, где я нашла подобный расчет в сети нет ? я приложила ранее в теме сканированные странички одной книги (книга.rar) (возможно, можно опереться на этот расчет, а возможно и нет). Вот как теперь, когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
P.S. В тексте книги есть одно обозначение - S2 ? авторы нигде явно его не обозначили, но по сути ? это, видимо, дисперсия исходного ряда.
angel-of-crime
Еще посоветовали:
Чтоб строго доказать существование сигнала с периодом, который вы вычислили, сделайте следующее:

angel-of-crime
Посмотрите еще вот этот ряд - там сто процентная 12-месячная составляющая, после применения скользящего среднего с окном 12, у меня выделился вместе с периодами 23-27, 88, 101 мес. еще и период 78 мес (он больше всех интересует, т.к. был обнаружен и в предыдущих трех рядах). И вот как доказать, что все эти 4 периода - не "писк комара" на фоне 12-месячной гармоники?
Спасибо.
DrgLena
Поскольку вы действовали почти по плану olga44, а я по описанному плану, то и результаты сходятся не полностью. Часть того, что меня интересовало - в прилагаемом документе.
Относительно фрагментов книги, которые вы приводите, то желательно дать нормальную полную ссылку, тогда желающие смогут разобраться, что такое S2 и, возможно, помочь Вам.
Относительно теста Бартелса, тоже самое, нужна ссылка, желательно с формулой.
В сети есть готовый код на R, если, конечно это то, что вам нужно.
Olga44
Цитата(angel-of-crime @ 15.11.2010 - 10:03) *
Спасибо - очень емко и со ссылками. Так вот я в литературе встречала двоякое отношение к вопросу - для одних авторов, чтобы применить спектральный анализ ряд не обязательно должен быть стационарным, достаточно того, что замеры происходили за равноотстоящие промежутки времени, для других же - это непременное условие применения данного вида анализа временных рядов. Если следовать второму, то ... я на ложном пути и не имею права проводить этот анализ вовсе?



Не вижу смысла по нескольку раз отвечать на один и тот же вопрос. В моем понимании:
1. анализ временных рядов предполагает замеры временного ряда через равноотстоящие промежутки времени;
2. ряд может быть как стационарным, так и нестационарным. Нестационарность может быть НЕСКОЛЬКИХ видов (Г. Дженкинс, Д. Ваттс. Спектральный анализ и его приложения. Выпуск 1, 1971, раздел 1.2.1, СТРАНИЦА 18);
3. на этой же странице указывается " Большинство методов, имеющих дело с нестационарными временными рядами, основано на способах устранения или отфильтровывания нестационарной части, так что остается ряд, с которым можно обращаться как со стационарным" и т. д. Стало быть, нужно поинтересоваться что это за методы и какие их них подходят к исследуемому ряду, естественно, если ряд нестационарный. Если ряд стационарный, то этого делать не нужно;
4. дальнейшая обработка зависит от поставленной задачи. Если требуется определить периоды, содержащиеся во временном ряду, их определяют хорошо описанными в многочисленной литературе методами. Эта литература включает и оценку значимости полученных периодов.
Во всяком случае, я поступаю таким образом. Вы можете решать этот вопрос
- составив свое личное мнение, изучив соответствующую литературу;
- прибегнув к голосованию предлагаемых методик среди знакомых или на форуме.
Мои ответы на Ваши вопросы предполагали, что Вы должны обладать некоторым начальным объемом знаний по анализу временных рядов и желанием разобраться в этом. В нашем случае я не вижу ни того, ни другого.
angel-of-crime
Цитата(DrgLena @ 15.11.2010 - 18:03) *
Поскольку вы действовали почти по плану olga44, а я по описанному плану, то и результаты сходятся не полностью. Часть того, что меня интересовало - в прилагаемом документе.
Относительно фрагментов книги, которые вы приводите, то желательно дать нормальную полную ссылку, тогда желающие смогут разобраться, что такое S2 и, возможно, помочь Вам.
Относительно теста Бартелса, тоже самое, нужна ссылка, желательно с формулой.
В сети есть готовый код на R, если, конечно это то, что вам нужно.


Можно поподробнее, что такое код на R?
Спасибо.
angel-of-crime
Цитата(Olga44 @ 16.11.2010 - 02:29) *
Не вижу смысла по нескольку раз отвечать на один и тот же вопрос. В моем понимании:
1. анализ временных рядов предполагает замеры временного ряда через равноотстоящие промежутки времени;
2. ряд может быть как стационарным, так и нестационарным. Нестационарность может быть НЕСКОЛЬКИХ видов (Г. Дженкинс, Д. Ваттс. Спектральный анализ и его приложения. Выпуск 1, 1971, раздел 1.2.1, СТРАНИЦА 18);
3. на этой же странице указывается " Большинство методов, имеющих дело с нестационарными временными рядами, основано на способах устранения или отфильтровывания нестационарной части, так что остается ряд, с которым можно обращаться как со стационарным" и т. д. Стало быть, нужно поинтересоваться что это за методы и какие их них подходят к исследуемому ряду, естественно, если ряд нестационарный. Если ряд стационарный, то этого делать не нужно;
4. дальнейшая обработка зависит от поставленной задачи. Если требуется определить периоды, содержащиеся во временном ряду, их определяют хорошо описанными в многочисленной литературе методами. Эта литература включает и оценку значимости полученных периодов.
Во всяком случае, я поступаю таким образом. Вы можете решать этот вопрос
- составив свое личное мнение, изучив соответствующую литературу;
- прибегнув к голосованию предлагаемых методик среди знакомых или на форуме.
Мои ответы на Ваши вопросы предполагали, что Вы должны обладать некоторым начальным объемом знаний по анализу временных рядов и желанием разобраться в этом. В нашем случае я не вижу ни того, ни другого.


Спасибо за потраченное время. Я здесь нахожусь лишь по той простой причине, чтобы специалисты (владеющие и теорией и практикой (!) направили меня в нужное русло). Я пыталась быть максимально тактичной, постоянно извиняясь и благодаря людей за потраченное время.
Olga44
когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
[/quote][i]
[/i]

Как я уже отвечала, differencing и скользящее среднее позволяют более детально рассмотреть РАЗЛИЧНЫЕ части спектра, все зависит от постановки задачи.
Olga44
какая из гармоник выбирает максимальную часть спектра. Грубо говоря, какой из циклов проявляется ?лучше?. Литературы, где я нашла подобный расчет в сети нет ? я приложила ранее в теме сканированные странички одной книги (книга.rar) (возможно, можно опереться на этот расчет, а возможно и нет). Вот как теперь, когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
P.S. В тексте книги есть одно обозначение - S2 ? авторы нигде явно его не обозначили, но по сути ? это, видимо, дисперсия исходного ряда.
[/quote]

В книге Г. А. Пановский, Г. В. Брайер. Статистические методы в метеорологии, 1972 г. , в главе V1 (временные ряды), в разделе 3 (Анализ периодических флуктуаций), на стр. 131-132 дается ответ на вопрос какая часть полной дисперсии ряда учитывается гармониками. Приведен пример.
angel-of-crime
Цитата(Olga44 @ 16.11.2010 - 13:04) *
какая из гармоник выбирает максимальную часть спектра. Грубо говоря, какой из циклов проявляется ?лучше?. Литературы, где я нашла подобный расчет в сети нет ? я приложила ранее в теме сканированные странички одной книги (книга.rar) (возможно, можно опереться на этот расчет, а возможно и нет). Вот как теперь, когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
P.S. В тексте книги есть одно обозначение - S2 ? авторы нигде явно его не обозначили, но по сути ? это, видимо, дисперсия исходного ряда.

В книге Г. А. Пановский, Г. В. Брайер. Статистические методы в метеорологии, 1972 г. , в главе V1 (временные ряды), в разделе 3 (Анализ периодических флуктуаций), на стр. 131-132 дается ответ на вопрос какая часть полной дисперсии ряда учитывается гармониками. Приведен пример.


Спасибо, а ссылку (в смысле на скачивание) если имеется?
Olga44
Цитата(Olga44 @ 16.11.2010 - 12:01) *
когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
[i]
[/i]

Как я уже отвечала, differencing и скользящее среднее позволяют более детально рассмотреть РАЗЛИЧНЫЕ части спектра, все зависит от постановки задачи.


Если ряд содержит тренд, процедура differencing, как правило, позволяет его исключить и получить боллее более точную оценку высокочастотной части ряда. Скользящее среднее позволяет отфильтровать высокочастотные составляющие.

DrgLena
Т.к. первоначально пост назывался ?Требуется помощь в Statistica, Временные ряды?, то я откликнулась, поскольку неплохо знаю пакет и очень плохо временные ряды. Имея ряды автора поста, немного продвинулась в их изучении, за что автору поста, спасибо. Литературы для самостоятельного изучения в сети, на сегодняшний день, предостаточно, от фундаментальных книг до реализации в пакетах, в том числе бесплатных ®.
Цитата(angel-of-crime @ 16.11.2010 - 10:26) *
Можно поподробнее, что такое код на R?

Ответ найдите в сети самостоятельно.
Цитата(angel-of-crime @ 16.11.2010 - 10:29) *
Я здесь нахожусь лишь по той простой причине, чтобы специалисты (владеющие и теорией и практикой (!) направили меня в нужное русло).

Большинство таких специалистов уже расхватали финансовые биржи. И вряд ли они будут искать нужную вам информацию и пережевывать ее для вашего восприятия.
Цитата(angel-of-crime @ 16.11.2010 - 10:29) *
Я пыталась быть максимально тактичной, постоянно извиняясь и благодаря людей за потраченное время.

Вы вовсе не должны извиняться, все участники дискуссии приходят сюда по доброй воле, волонтеры.
Просьба ? вопрос к olga44, если у Вас есть описание использования Фурье во временных рядах, не в финансовых, а в научных целях, прислать на форум или в личный ящик на форуме.
angel-of-crime
Цитата(Olga44 @ 16.11.2010 - 13:54) *
Если ряд содержит тренд, процедура differencing, как правило, позволяет его исключить и получить боллее более точную оценку высокочастотной части ряда. Скользящее среднее позволяет отфильтровать высокочастотные составляющие.


Спасибо, это понятно.
angel-of-crime
Цитата(Olga44 @ 16.11.2010 - 13:04) *
В книге Г. А. Пановский, Г. В. Брайер. Статистические методы в метеорологии, 1972 г. , в главе V1 (временные ряды), в разделе 3 (Анализ периодических флуктуаций), на стр. 131-132 дается ответ на вопрос какая часть полной дисперсии ряда учитывается гармониками. Приведен пример.


И все-таки, если имеется ссылка на скачивание - поделитесь, please.
Olga44
Цитата(angel-of-crime @ 16.11.2010 - 12:43) *
Спасибо, а ссылку (в смысле на скачивание) если имеется?


В электронном виде у меня ее нет. А главу V1 полезно было бы прочитать полностью.
angel-of-crime
Цитата(Olga44 @ 16.11.2010 - 14:04) *
В электронном виде у меня ее нет. А главу V1 полезно было бы прочитать полностью.


Понятно, спасибо.
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.
Форум IP.Board © 2001-2025 IPS, Inc.