Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

5 страниц V   1 2 3 > »   
Добавить ответ в эту темуОткрыть тему
> Требуется помощь в Statistica, Временные ряды
angel-of-crime
сообщение 4.11.2010 - 18:57
Сообщение #1


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



Помогите, пожалуйста, с анализом временных рядов, а именно: как на периодограмме спектрального анализа отобразить 95% интервал вероятности белого и красного шумов? Т.е. показать, что определенные в результате этого анализа циклы не являются шумом. Выглядеть это должно, скорее всего, как на картинке. Возможно, я чего-то в корне не понимаю - объясните.

Заранее ОГРОМНОЕ спасибо всем откликнувшимся.
Эскизы прикрепленных изображений
Прикрепленное изображение
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
angel-of-crime
сообщение 5.11.2010 - 10:00
Сообщение #2


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



HELP!!! Специалисты, откликнитесь, please.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 6.11.2010 - 12:14
Сообщение #3


Дух форума
*

Группа: Пользователи
Сообщений: 1098
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



С периодограммами сталкивался, но не знаю существует ли вообще такая возможность. Знаю, что можно в шуме искать периодические составляющие, но чтобы в периодическом явлении искать шумовые компоненты, да ещё такие конкретные - именно белый и красный шум (?) - не знаю. Можете перепостить вопрос сюда: http://www.nsu.ru/phpBB/viewforum.php?f=20...f36116b43c2c86b . Хоть эконометристы и не технари, но с периодограммами работают куда чаще.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
100$
сообщение 6.11.2010 - 18:18
Сообщение #4


Дух форума
*

Группа: Пользователи
Сообщений: 708
Регистрация: 23.08.2010
Пользователь №: 22694



Посмотрите здесь:

http://docs.google.com/viewer?a=v&q=ca...B9Jgy8VH0pIqlsQ

стр. 59 - оценивание значимости пиков периодограммы
Если пик значим, значит он порожден не (белым) шумом

И в виде дружеского жеста просветите, что это за зверь такой красный шум? То, что существует термин "цветной" шум, я в курсе. Только не знаю, красный и цветной шум - это синонимы, или нет

Сообщение отредактировал 100$ - 6.11.2010 - 18:22
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 6.11.2010 - 19:05
Сообщение #5


Дух форума
*

Группа: Пользователи
Сообщений: 964
Регистрация: 10.04.2007
Из: Россия
Пользователь №: 4040



Немного добавлю
Цитата(100$ @ 6.11.2010 - 18:18) *
Посмотрите здесь:
...
стр. 59 - оценивание значимости пиков периодограммы
Если пик значим, значит он порожден не (белым) шумом

Лучше взять источник здесь http://www.nbuv.gov.ua/portal/natural/ikao...103_1/56-69.pdf
Цитата(100$ @ 6.11.2010 - 18:18) *
И в виде дружеского жеста просветите, что это за зверь такой красный шум? То, что существует термин "цветной" шум, я в курсе. Только не знаю, красный и цветной шум - это синонимы, или нет

Как обычно, в Википедии: http://ru.wikipedia.org/wiki/Красный_шум
И тут: http://ru.wikipedia.org/wiki/Цвета_шума

Можно было бы в AtteStat ввести данные методы (есть и модуль соответствующий), однако, это, к сожалению, никому не нужно.


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Olga44
сообщение 7.11.2010 - 21:10
Сообщение #6


Дух форума
*

Группа: Пользователи
Сообщений: 20
Регистрация: 7.11.2010
Из: Одесса
Пользователь №: 22911



Цитата(angel-of-crime @ 4.11.2010 - 19:57) *
Помогите, пожалуйста, с анализом временных рядов, а именно: как на периодограмме спектрального анализа отобразить 95% интервал вероятности белого и красного шумов? Т.е. показать, что определенные в результате этого анализа циклы не являются шумом. Выглядеть это должно, скорее всего, как на картинке. Возможно, я чего-то в корне не понимаю - объясните.

Заранее ОГРОМНОЕ спасибо всем откликнувшимся.


Можно посмотреть в электронном учебнике по статистике http://www.statsoft.ru/home/textbook/default.htm
А в нем Временные ряды - далее Спектральный анализ - основные понятия и принципы, далее Подготовка данных к анализу и результаты ... Правда, там лишь представление о белом шуме. 95% границы для белого шума в пакете Статистика автоматически выделяются при построении автокорреляционной функции.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
angel-of-crime
сообщение 8.11.2010 - 10:50
Сообщение #7


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



[quote name='Игорь' date='6.11.2010 - 19:05' post='10877']
Немного добавлю

Лучше взять источник здесь http://www.nbuv.gov.ua/portal/natural/ikao...103_1/56-69.pdf

Cпасибо, Игорь и всем кто откликнулся.
К сожалению, в посоветованной Вами литературе авторы используют частоту Найквиста, ниже которой просто считают пики периодограммы незначимыми. И они в этом не одиноки - так делают практически все, но вот у меня, к сожалению, задача другая будет. В целом - это уже анализ периодограмм и такой литературы я как-то не встречала. Нужно попробовать эту программку Attestat.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
angel-of-crime
сообщение 8.11.2010 - 11:40
Сообщение #8


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



Цитата(nokh @ 6.11.2010 - 12:14) *
С периодограммами сталкивался, но не знаю существует ли вообще такая возможность. Знаю, что можно в шуме искать периодические составляющие, но чтобы в периодическом явлении искать шумовые компоненты, да ещё такие конкретные - именно белый и красный шум (?) - не знаю. Можете перепостить вопрос сюда: http://www.nsu.ru/phpBB/viewforum.php?f=20...f36116b43c2c86b . Хоть эконометристы и не технари, но с периодограммами работают куда чаще.



Может, тогда есть возможность в Statistica скажем посчитать часть спектра, учитываемую каждой гармоникой?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 8.11.2010 - 13:37
Сообщение #9


Дух форума
*

Группа: Пользователи
Сообщений: 1323
Регистрация: 27.11.2007
Пользователь №: 4573



Цитата(angel-of-crime @ 8.11.2010 - 11:50) *
но вот у меня, к сожалению, задача другая будет.

К сожалению, не понятно, какова именно Ваша задача, что вы хотите получить от Фурье анализа.
Цитата(angel-of-crime @ 8.11.2010 - 11:50) *
В целом - это уже анализ периодограмм и такой литературы я как-то не встречала.

Какой именно анализ периодограмм нужен, чего нет, например, в двухтомнике у Дж. Бокса.
Будет понятней, если вы выложите на форум свой временной ряд (не важно, из какой области, ряд Х) и цель анализа. На этом форуме практически не обсуждались временные ряды. Кроме Statistica есть и другие программы.
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
angel-of-crime
сообщение 8.11.2010 - 16:43
Сообщение #10


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



Какой именно анализ периодограмм нужен, чего нет, например, в двухтомнике у Дж. Бокса.
Будет понятней, если вы выложите на форум свой временной ряд (не важно, из какой области, ряд Х) и цель анализа. На этом форуме практически не обсуждались временные ряды. Кроме Statistica есть и другие программы.
[/quote]

Спасибо, что откликнулись. Вот для примера 3 ряда (выложила в Excell). Их нужно исследовать на присутствие периодичностей. Полученные периоды оценить - не шум ли это различного цвета и какая гармоника выбирает максимальную часть спектра (возможно их будет несколько).

Еще раз спасибо.

Сообщение отредактировал angel-of-crime - 8.11.2010 - 16:47
Прикрепленные файлы
Прикрепленный файл  ряды.rar ( 13,45 килобайт ) Кол-во скачиваний: 204
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 8.11.2010 - 17:39
Сообщение #11


Дух форума
*

Группа: Пользователи
Сообщений: 1323
Регистрация: 27.11.2007
Пользователь №: 4573



В третьем листе 2004 год - пропуск данных, как и в 2003?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
angel-of-crime
сообщение 9.11.2010 - 10:20
Сообщение #12


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



Цитата(DrgLena @ 8.11.2010 - 18:39) *
В третьем листе 2004 год - пропуск данных, как и в 2003?


Да, к сожалению, пропуски есть. Я их пыталась восстанавливать моделями АРПСС, но гармоники Фурье-анализа оставались такими же. Поэтому решила проигнорировать. Как вы считаете - результат неадекватный?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
angel-of-crime
сообщение 9.11.2010 - 19:23
Сообщение #13


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



Жуткая путаница с переплетением гармонического и спектрального анализов. А как же все-таки определить имеется ли выделенный цикл в исследуемом ряду или это только игра воображения и вообще грамотно ли говорить о том, что некий цикл выбирает определенную часть спектра - непонятно!

И должны ли ряды быть стационарными или же достаточно того, что они эквидистантны?

Сообщение отредактировал angel-of-crime - 9.11.2010 - 20:18
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
DrgLena
сообщение 10.11.2010 - 12:10
Сообщение #14


Дух форума
*

Группа: Пользователи
Сообщений: 1323
Регистрация: 27.11.2007
Пользователь №: 4573



Вы представили периодограмму не от тех данных, которые в эклесевском файле.
Вы спрашиваете, правомерен ли результат, но результат не представлен. Ничего не известно о том, как ряд готовился к ФУРЬЕ анализу. Все три ряда я не смотрела, но в первом имеется и годовой тренд и сезонная составляющая. Для Фурье, все это нужно учесть, преобразовав ряд соответствующим образом. Программа, предоставляет для этого различные возможности.
Если все это сделано, то приступаете к Фурье. Прежде всего вас интересует есть ли в ряду периодические циклы. Для проверки этого программа предлагает гисторамму периодограмм на которой выдаются значение двух критериев для проверки экспоненциальности их распределения. Если нулевая гипотеза отклоняется, то ваш временной ряд не является белым шумом и в нем присутствуют периодические циклы. Гистограмма может быть построена как для всех частот, так и для Исследуемого подмножества периодограммы. Таким образом, можно проверить является ли ряд белым шумом для выбранных частот. А дальше рассматриваете в итоговой таблице характеристика всех периодов, их будет n/2 или (n-1)/2 и все они вам не нужны. Что считать важным и описывать как результат зависит от цели и здравого смысла.
В представленных вами данных по первому ряду имеется пик, который соответствует периоду в 78 месяцев. Этот же цикл имеется и во втором и в третьем ряду данных. Это беглый взгляд на временные ряды, у меня нет опыта их анализа, нет такого рода данных в моей работе. Я поняла, что результат сильно зависит от предварительной работы с данными, выбор в программе для этого очень большой.
Пропуски данных для Фурье в этой программе заполняются при соответствующем выборе, не нужно отдельно их считать регрессией (8 версия, не знаю, как в других, но кнопочный интерфейс сильно отличается от 6 в этом модуле).
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
angel-of-crime
сообщение 10.11.2010 - 16:40
Сообщение #15


Дух форума
*

Группа: Пользователи
Сообщений: 36
Регистрация: 4.11.2010
Пользователь №: 22906



Цитата(DrgLena @ 10.11.2010 - 12:10) *
Вы представили периодограмму не от тех данных, которые в эклесевском файле.
Вы спрашиваете, правомерен ли результат, но результат не представлен. Ничего не известно о том, как ряд готовился к ФУРЬЕ анализу. Все три ряда я не смотрела, но в первом имеется и годовой тренд и сезонная составляющая. Для Фурье, все это нужно учесть, преобразовав ряд соответствующим образом. Программа, предоставляет для этого различные возможности.
Если все это сделано, то приступаете к Фурье. Прежде всего вас интересует есть ли в ряду периодические циклы. Для проверки этого программа предлагает гисторамму периодограмм на которой выдаются значение двух критериев для проверки экспоненциальности их распределения. Если нулевая гипотеза отклоняется, то ваш временной ряд не является белым шумом и в нем присутствуют периодические циклы. Гистограмма может быть построена как для всех частот, так и для Исследуемого подмножества периодограммы. Таким образом, можно проверить является ли ряд белым шумом для выбранных частот. А дальше рассматриваете в итоговой таблице характеристика всех периодов, их будет n/2 или (n-1)/2 и все они вам не нужны. Что считать важным и описывать как результат зависит от цели и здравого смысла.
В представленных вами данных по первому ряду имеется пик, который соответствует периоду в 78 месяцев. Этот же цикл имеется и во втором и в третьем ряду данных. Это беглый взгляд на временные ряды, у меня нет опыта их анализа, нет такого рода данных в моей работе. Я поняла, что результат сильно зависит от предварительной работы с данными, выбор в программе для этого очень большой.
Пропуски данных для Фурье в этой программе заполняются при соответствующем выборе, не нужно отдельно их считать регрессией (8 версия, не знаю, как в других, но кнопочный интерфейс сильно отличается от 6 в этом модуле).


1. DrgLena, Спасибо огромное за время, потраченное на мои данные.
2. Представленная периодограмма действительно просто пример, не имеющий отношения к данным - прилагаю результаты Фурье-анализа (в Statistica 6 - конечно, это скорее всего хуже чем 8 - но... что имеем).
3. В Excell прилагаю найденную мной в литературе оценку результатов гармонического анализа с определением доли дисперсии, учитываемой каждой гармоникой (скажите, что вы об этом думаете - почему не получается сложить все эти так называемые доли дисперсии (последний ряд в %) и получить в сумме нечто близкое к 100%? или хотя бы к 90).
4. Теперь по порядку:
- по поводу подготовки данных - сначала пыталась использовать Seasonal decomposition (Census I), где реализовано в принципе обычное скользящее среднее (в моем случае 12-месячное) и работать с тренд-циклом (хорошо удалялась и так понятная частота с периодом 12 месяцев и не забивалась периодограмма и спектрограмма) и далее выделялись остальные циклы. Но курирующие меня люди (со знанием дела!!!, правда, не особо вникая в данные и в целом) забраковали результат, срезюмировав, что удаляя годовую гармонику далее я исследую "писк комара" - мол, она единственная фактически реальная в данных. Но по рядам и по исследованиям прошлых лет выделяются в рядах циклы длиной 7 и 10 лет и более короткие тоже. Поэтому исследование ряда я решила проводить напрямую без сглаживаний, дабы не наводить искусственную цикличность на низких частотах скользящими средними и не логарифмирую и не беру отклонений от нормы.
- объясните, пож., с чем сравнить критерии Fisher-Kappa и Бартлета, которые получаем при построении гистограммы периодограммы, чтобы принять или отклонить нулевую гипотезу;
- и подскажите, пож., как построить гистограмму не для всех частот, а для Исследуемого подмножества периодограммы (т.е. это мне выбрать частоты, вблизи которых определился мой цикл? например, если это 85 мес. и соответствующая частота 0,0117, то в ее окрестности и построить гистограмму распределения? - детский, наверное, вопрос - но на всякий случай);
- расскажите, пож, как получился цикл 78 мес. - у меня такого четко не выходит - по коэффициентам я бы скорее говорила об упомянутом 85 мес. Еще мне не нравятся выделившиеся 512 и 128 мес - это слишком длинные циклы для такого объема исходных данных (мне так кажется) - что делать?
- подскажите, может у вас Help на русском как вычисляется столбец под названием Periodog и Density?
5. Природа данных такова, что для большинства массивов (у меня таких около 100) приблизительно в 90 из них без всякого исследования ясно существование достаточно четкой годовой периодичности (единственное что не со строгой 12-месячной, а с 11-13 месячной гармоникой). Но вот насколько реальны остальные циклы - они то реальны, но мне это еще нужно доказать.
С нетерпением жду Ваших ответов. Спасибо.
Прикрепленные файлы
Прикрепленный файл  БПФ.rar ( 62,76 килобайт ) Кол-во скачиваний: 203
 
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

5 страниц V   1 2 3 > » 
Добавить ответ в эту темуОткрыть тему