Версия для печати темы

Автор: angel-of-crime 4.11.2010 - 18:57

Помогите, пожалуйста, с анализом временных рядов, а именно: как на периодограмме спектрального анализа отобразить 95% интервал вероятности белого и красного шумов? Т.е. показать, что определенные в результате этого анализа циклы не являются шумом. Выглядеть это должно, скорее всего, как на картинке. Возможно, я чего-то в корне не понимаю - объясните.

Заранее ОГРОМНОЕ спасибо всем откликнувшимся.

Автор: angel-of-crime 5.11.2010 - 10:00

HELP!!! Специалисты, откликнитесь, please.

Автор: nokh 6.11.2010 - 12:14

С периодограммами сталкивался, но не знаю существует ли вообще такая возможность. Знаю, что можно в шуме искать периодические составляющие, но чтобы в периодическом явлении искать шумовые компоненты, да ещё такие конкретные - именно белый и красный шум (?) - не знаю. Можете перепостить вопрос сюда: http://www.nsu.ru/phpBB/viewforum.php?f=20&sid=?577b50b6d7e9f48c8f36116b43c2c86b . Хоть эконометристы и не технари, но с периодограммами работают куда чаще.

Автор: 100$ 6.11.2010 - 18:18

Посмотрите здесь:

http://docs.google.com/viewer?a=v&q=cache:7_H9QrMhjFkJ:www.nbuv.gov.ua/portal/natural/ikao/2007_103_1/56-69.pdf+%D0%B4%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9+%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%B2%D0%B0%D0%BB+%D0%B4%D0%BB%D1%8F+%D0%BF%D0%B5%D1%80%D0%B8%D0%BE%D0%B4%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D1%8B&hl=ru&gl=ru&pid=bl&srcid=ADGEEShslPpMm1y0cDz9VEIMavSzW6y3BWKkU54t2QSy03BjqLodJUSlGraSCZa0kRVTsFqIAMgPQqbVvf2xM4oZj5FabzlxUxRVSanoHo_wHLeIuBtf8FGZtXoOGHdLzUxoqGG0Pltz&sig=AHIEtbRy3ULXr51C8d0B9Jgy8VH0pIqlsQ

стр. 59 - оценивание значимости пиков периодограммы
Если пик значим, значит он порожден не (белым) шумом

И в виде дружеского жеста просветите, что это за зверь такой красный шум? То, что существует термин "цветной" шум, я в курсе. Только не знаю, красный и цветной шум - это синонимы, или нет

Автор: Игорь 6.11.2010 - 19:05

Немного добавлю

Лучше взять источник здесь http://www.nbuv.gov.ua/portal/natural/ikao/2007_103_1/56-69.pdf

Как обычно, в Википедии: http://ru.wikipedia.org/wiki/Красный_шум
И тут: http://ru.wikipedia.org/wiki/Цвета_шума

Можно было бы в AtteStat ввести данные методы (есть и модуль соответствующий), однако, это, к сожалению, никому не нужно.

Автор: Olga44 7.11.2010 - 21:10

Можно посмотреть в электронном учебнике по статистике http://www.statsoft.ru/home/textbook/default.htm
А в нем Временные ряды - далее Спектральный анализ - основные понятия и принципы, далее Подготовка данных к анализу и результаты ... Правда, там лишь представление о белом шуме. 95% границы для белого шума в пакете Статистика автоматически выделяются при построении автокорреляционной функции.

Автор: angel-of-crime 8.11.2010 - 10:50

[quote name='Игорь' date='6.11.2010 - 19:05' post='10877']
Немного добавлю

Лучше взять источник здесь http://www.nbuv.gov.ua/portal/natural/ikao/2007_103_1/56-69.pdf

Cпасибо, Игорь и всем кто откликнулся.
К сожалению, в посоветованной Вами литературе авторы используют частоту Найквиста, ниже которой просто считают пики периодограммы незначимыми. И они в этом не одиноки - так делают практически все, но вот у меня, к сожалению, задача другая будет. В целом - это уже анализ периодограмм и такой литературы я как-то не встречала. Нужно попробовать эту программку Attestat.

Автор: angel-of-crime 8.11.2010 - 11:40

Может, тогда есть возможность в Statistica скажем посчитать часть спектра, учитываемую каждой гармоникой?

Автор: DrgLena 8.11.2010 - 13:37

К сожалению, не понятно, какова именно Ваша задача, что вы хотите получить от Фурье анализа.

Какой именно анализ периодограмм нужен, чего нет, например, в двухтомнике у Дж. Бокса.
Будет понятней, если вы выложите на форум свой временной ряд (не важно, из какой области, ряд Х) и цель анализа. На этом форуме практически не обсуждались временные ряды. Кроме Statistica есть и другие программы.

Автор: angel-of-crime 8.11.2010 - 16:43

Какой именно анализ периодограмм нужен, чего нет, например, в двухтомнике у Дж. Бокса.
Будет понятней, если вы выложите на форум свой временной ряд (не важно, из какой области, ряд Х) и цель анализа. На этом форуме практически не обсуждались временные ряды. Кроме Statistica есть и другие программы.
[/quote]

Спасибо, что откликнулись. Вот для примера 3 ряда (выложила в Excell). Их нужно исследовать на присутствие периодичностей. Полученные периоды оценить - не шум ли это различного цвета и какая гармоника выбирает максимальную часть спектра (возможно их будет несколько).

Еще раз спасибо.

Автор: DrgLena 8.11.2010 - 17:39

В третьем листе 2004 год - пропуск данных, как и в 2003?

Автор: angel-of-crime 9.11.2010 - 10:20

Да, к сожалению, пропуски есть. Я их пыталась восстанавливать моделями АРПСС, но гармоники Фурье-анализа оставались такими же. Поэтому решила проигнорировать. Как вы считаете - результат неадекватный?

Автор: angel-of-crime 9.11.2010 - 19:23

Жуткая путаница с переплетением гармонического и спектрального анализов. А как же все-таки определить имеется ли выделенный цикл в исследуемом ряду или это только игра воображения и вообще грамотно ли говорить о том, что некий цикл выбирает определенную часть спектра - непонятно!

И должны ли ряды быть стационарными или же достаточно того, что они эквидистантны?

Автор: DrgLena 10.11.2010 - 12:10

Вы представили периодограмму не от тех данных, которые в эклесевском файле.
Вы спрашиваете, правомерен ли результат, но результат не представлен. Ничего не известно о том, как ряд готовился к ФУРЬЕ анализу. Все три ряда я не смотрела, но в первом имеется и годовой тренд и сезонная составляющая. Для Фурье, все это нужно учесть, преобразовав ряд соответствующим образом. Программа, предоставляет для этого различные возможности.
Если все это сделано, то приступаете к Фурье. Прежде всего вас интересует есть ли в ряду периодические циклы. Для проверки этого программа предлагает гисторамму периодограмм на которой выдаются значение двух критериев для проверки экспоненциальности их распределения. Если нулевая гипотеза отклоняется, то ваш временной ряд не является белым шумом и в нем присутствуют периодические циклы. Гистограмма может быть построена как для всех частот, так и для Исследуемого подмножества периодограммы. Таким образом, можно проверить является ли ряд белым шумом для выбранных частот. А дальше рассматриваете в итоговой таблице характеристика всех периодов, их будет n/2 или (n-1)/2 и все они вам не нужны. Что считать важным и описывать как результат зависит от цели и здравого смысла.
В представленных вами данных по первому ряду имеется пик, который соответствует периоду в 78 месяцев. Этот же цикл имеется и во втором и в третьем ряду данных. Это беглый взгляд на временные ряды, у меня нет опыта их анализа, нет такого рода данных в моей работе. Я поняла, что результат сильно зависит от предварительной работы с данными, выбор в программе для этого очень большой.
Пропуски данных для Фурье в этой программе заполняются при соответствующем выборе, не нужно отдельно их считать регрессией (8 версия, не знаю, как в других, но кнопочный интерфейс сильно отличается от 6 в этом модуле).

Автор: angel-of-crime 10.11.2010 - 16:40

1. DrgLena, Спасибо огромное за время, потраченное на мои данные.
2. Представленная периодограмма действительно просто пример, не имеющий отношения к данным - прилагаю результаты Фурье-анализа (в Statistica 6 - конечно, это скорее всего хуже чем 8 - но... что имеем).
3. В Excell прилагаю найденную мной в литературе оценку результатов гармонического анализа с определением доли дисперсии, учитываемой каждой гармоникой (скажите, что вы об этом думаете - почему не получается сложить все эти так называемые доли дисперсии (последний ряд в %) и получить в сумме нечто близкое к 100%? или хотя бы к 90).
4. Теперь по порядку:
- по поводу подготовки данных - сначала пыталась использовать Seasonal decomposition (Census I), где реализовано в принципе обычное скользящее среднее (в моем случае 12-месячное) и работать с тренд-циклом (хорошо удалялась и так понятная частота с периодом 12 месяцев и не забивалась периодограмма и спектрограмма) и далее выделялись остальные циклы. Но курирующие меня люди (со знанием дела!!!, правда, не особо вникая в данные и в целом) забраковали результат, срезюмировав, что удаляя годовую гармонику далее я исследую "писк комара" - мол, она единственная фактически реальная в данных. Но по рядам и по исследованиям прошлых лет выделяются в рядах циклы длиной 7 и 10 лет и более короткие тоже. Поэтому исследование ряда я решила проводить напрямую без сглаживаний, дабы не наводить искусственную цикличность на низких частотах скользящими средними и не логарифмирую и не беру отклонений от нормы.
- объясните, пож., с чем сравнить критерии Fisher-Kappa и Бартлета, которые получаем при построении гистограммы периодограммы, чтобы принять или отклонить нулевую гипотезу;
- и подскажите, пож., как построить гистограмму не для всех частот, а для Исследуемого подмножества периодограммы (т.е. это мне выбрать частоты, вблизи которых определился мой цикл? например, если это 85 мес. и соответствующая частота 0,0117, то в ее окрестности и построить гистограмму распределения? - детский, наверное, вопрос - но на всякий случай);
- расскажите, пож, как получился цикл 78 мес. - у меня такого четко не выходит - по коэффициентам я бы скорее говорила об упомянутом 85 мес. Еще мне не нравятся выделившиеся 512 и 128 мес - это слишком длинные циклы для такого объема исходных данных (мне так кажется) - что делать?
- подскажите, может у вас Help на русском как вычисляется столбец под названием Periodog и Density?
5. Природа данных такова, что для большинства массивов (у меня таких около 100) приблизительно в 90 из них без всякого исследования ясно существование достаточно четкой годовой периодичности (единственное что не со строгой 12-месячной, а с 11-13 месячной гармоникой). Но вот насколько реальны остальные циклы - они то реальны, но мне это еще нужно доказать.
С нетерпением жду Ваших ответов. Спасибо.

Автор: DrgLena 11.11.2010 - 02:31

В рамках форума я могу ответить лишь на некоторые ваши вопросы.
Для критерия Bartlett K-S , если число периодов (m-1) более 100 существует формула d=a/sqrt(m-1), где а=1,36 и 1,63 для 5% и 1% уровня значимости. Для <100 обычная таблица К-С для n=m-1.

Вы, почему то, хотите построить гистограмму не для всех частот, - не понятно зачем? Гистограмма нужна чтобы оценить распределение всего ряда периодограмм.

Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза).
Оценки спектральной плотности (Density ) вычисляются путем сглаживания значений периодограммы, а метод выбирается в разделе Спектральные окна, вы выбрали Hamming. Сглаживая периодограмму, можно определить основные частотные области (или спектральные плотности), которые вносят значительный вклад в циклическое поведение ряда.

По 3 вопросу, не имея формулы ничего сказать не могу, дайте ссылку, можно будет проверить.

На рис показаны 42 первых периодов (из234), два из них максимальные, если не убирать сезонную составляющую, как вы делаете, что на мой взгляд не верно, этот пик уходит при удалении сезонной составляющей. По Х - Period, то что в итоговой таблице программы под этим именем. Но, это будет 6/468=0,0128 ? частота, а величина обратная ей 1/0,0128=78 мес. И есть период.
Мне не понятно, почему в ваших данных 468 наблюдений, а в результатах во всех таблицах case 512.

Т.к. последовательные частоты вычисляются как k/n (от k=0 до n/2), где n - число наблюдений ряда, а у вас наблюдений 512, то вы получили первую после нуля частоту 1/512= 0,001953 и соответствующий ей период 512.
В оси Х допущена ошибка в подписи, во втором графике - исправление

Автор: Olga44 11.11.2010 - 04:25

Прошу прощения, посмотрела Ваши данные.
На некоторые вопросы, может быть, смогу ответить.
Если вы хотите исследовать высокочастотную часть спектра, то нужно прожде всего снять тренд. На мой взгляд Ваши ряды содержат нелинейный тренд (особенно это становится заметным после удаления сезонной компоненты), который, кстати говоря, може быть частью догопериодной составляющей. Для этого исходный ряд дифференцируют . Т. е. сдвигают ряд и рассматривают ряд, полученный вычитанием исходного и сдвинутого рядов. В этом случае Вы исследуете высокочастотную часть спектра. Если же Вас интересует низкочастотная часть спектра, то Вы это уже делали, удалив сезонную компоненту путем сглаживания с шириной окна = 12. И это, отнюдь, не "писк комара".
Что касается вычисления Periodog, то в литературе приводятся формулы для разложения в ряд Фурье. Амплитуда выделенной для определенной частоты гармоники и будет характеризовать величину Periodog (корень квадратный из суммы квадратов коэффициентов при cos и sin). Density представляет собой сглаженное значение периодограммы. Вы выбираете тип сглаживания по Daniell, Tukey, Hamming ... и задаете величину окна сглаживания. Daniell, Tukey, Hamming определяют коэффициенты сглаживающей функции. Как правило в программе по умолчанию стоит Hamming.
Вообще же хочу отметить, что оценка периодичности рассматриваемого ряда, хотя и является вроде бы достаточно формализозованной процедурой, но в значительной степени является процедурой творческой, и не стоит удивляться, если анализ одного ряда двумя исследователями даст несколько различающиеся результаты. Подчеркиваю - несколько. Следует учесть, что полученные результаты могут изменяться в зависимости от длины ряда.

Автор: DrgLena 11.11.2010 - 13:51

Да, красота - это страшная сила. Конечно, выделение циклов само по себе интересное занятие, но olga44 продемонстрировала, как себя ведут все три ряда, именно это очень важно. Второй и третий ряд имеют более близкую цикличность, и это становится ясно при стандартизации и трансформации переменных, а также сонхронизации дат измерения (в 3 ряду два года пропущены, согласно файлу в экселе, а в статистике пропуск в других годах). 2 и 3 ряд на рисунке, совпадение с olga44.

Автор: Olga44 11.11.2010 - 15:11

Интересно было бы ответить на вопрос: почему до 1980-81 гг тренд отрицательный, после - положительный. Проверить значимость трендов для первого и второго периода.
Обратить внимание на то, что показатели изменяются согласованно до 1996-1997 гг, затем изменяются в противофазе.
Ответ на эти вопросы может расширить представление о рассматриваемом процессе.

Автор: Olga44 11.11.2010 - 15:15

Наверно надо уточнить - речь идет о трендах на прилагаемом в ответе рисунке. А о фазах-противофазах на рис. DrgLena.

Автор: angel-of-crime 11.11.2010 - 15:33

Спасибо огромное за внимание к вопросу!!!
Тот ряд, который привели Вы в рисунке - скорее всего эта впадина - это минимум некоего длинного цикла (это, кстати, тоже мысль - проверю значимость трендов - чем не доказательство длинного цикла?). Объясню природу ряда: это наблюдения за уровнем подземных вод на мелиорированной территории (одна из скважин). Мелиорация не влияет на глубокие горизонты, т.е. это скорее всего спад и подъем длиннопериодной составляющей.
Спасибо.

Автор: angel-of-crime 11.11.2010 - 15:35

Сейчас попробую разобраться с противофазами - возможно, это наведенное преобразованиями - на прямых рядах этого вроде бы явно не проявляется.
Спасибо

Автор: angel-of-crime 11.11.2010 - 15:41

И была бы Вам, DrgLena и Olga44, крайне признательная, если бы Вы посмотрели приложенные файлы с БПФ разложением в Statistica и пояснением в Word.

Спасибо.

Автор: DrgLena 11.11.2010 - 15:44

На это нужно довольно много времени....

Автор: angel-of-crime 11.11.2010 - 15:51

Спасибо за внимание!
Действительно задача была скромнее, но приветствуются и благодарна за передачу любых соображений по поводу.

Была бы благодарна, если бы Вы просмотрели приложенное. Единственное что - конечно, я допустила грубейшую ошибку - я не синхронизировала те два пропущенных года в наблюдениях (это я исправлю).



Конечно. Спасибо.

Автор: DrgLena 11.11.2010 - 22:14

Ответ на один из Ваших вопросов я уже давала, пограмма в итоговой таблице выдает значение периодограммы, при этом,
Periodog=сумма квадратов коэффициентов при синусах и косинусах для каждой частоты (n/2 раза). Т.е. для 78 мес цикла Periodog = 6,10=(0,081861^2+0,139212^2)*234
Терминология наших академиков и американских программ часто не совпадает. Читайте техническую документацию к программе, если хотите руками все посчитать.

Автор: angel-of-crime 12.11.2010 - 10:03

Ой, точно. Извиняюсь, что так подтормаживаю - про 234 я и не подумала. Да, с терминологией полная беда - поэтому и тыкаюсь как слепой котенок. Интересно, а физический смысл?
Спасибо.

Автор: DrgLena 12.11.2010 - 16:45

Программа Statistica, как и программа SAS, которая является эталоном статистического анализа, использует именно эту формулу для расчета periodogram, при этом в документации имеется пояснение:

Several definitions of the term periodogram are used in the spectral analysis literature. The following discussion refers to the Jk sequence as the periodogram.

На той же странице объясняется и физический смысл. Если вы используете советские формулы для оценки вклада каждой гармоники, то должны сначала посчитать periodogram, как известное вам понятие, используя данные о коэффициентах в итоговой таблице.
Документация к временным рядам в SAS занимает более 3000 стр.

Автор: angel-of-crime 12.11.2010 - 17:25

Скажите, пож., эта картинка из Statistici? Что то не могу разобраться как исследовать часть Var (переменной). Подскажите, если не затруднит.
Спасибо.

Автор: Olga44 13.11.2010 - 00:29

1. Существуют разные формулы для вычисления ординаты периодограммы. Например, М. Кендэл (Временные ряды, 1981 г) приводит ДВА выражения для их вычисления, и использует термин "интенсивность". Такой же термин используют Дж. Бокс и Г. Дженкинс (Анализ временных рядов. Прогноз и управление, вып. 1., 1974). В любом случае, по какой бы формуле Вы не считали, смысл остается прежним - эта величина характеризует амплитуду ряда на заданной частоте. С самого начала, предложенная А. Шустером (1898 г) периодограмма использовалась для обнаружения и оценок амплитуды синусоидальной компоненты, скрытой шумом. Мне в литературе приходилось встречать графики, где этот вопрос решался просто - с ординаты снимали оцифровку и писали название оси - амплитуда. Впрочем, все определяется поставленной задачей, насколько важно для вас по какой формуле производится расчет или Вас интересует структура спектра рассматриваемого ряда.
2. К Вашему вопросу об эквидистантности и стационарности. Эти понятия характеризуют совершенно разные стороны ряда. Ряд будет эквидистантным, если последовательные его элементы равноудалены (по времени, по расстоянию и т.д.). Это никак не связано с понятиями стационарности - нестационарности. Понятие стационарности относится не к способу замера, а к характеристике рассматриваемого процесса. Наиболее простое определение стационарности дано, на мой взгляд, Дж. Боксом и Г. Дженкинсом "Процесс называется строго стационарным, если его СВОЙСТВА не зависят от измерения начала отсчета времени". Стоит упомянуть, что стационарность является ключевым предположением при анализе временных рядов.

Автор: Olga44 13.11.2010 - 01:24

У меня к Вам просьба: покажите, пожалуйста, периодограмму полностью для всего интервала частот (периодов). Очень хочется увидеть как выделенные пики выглядят на фоне всего спектра.
На оси Х, как правило, откладывают либо периоды, либо частоту. В выбранном вами варианте оцифровка оси Х малоинформативна, тем более в ответе Вы уже указали на то, какую часть спектра Вы хотели изобразить.
И вопрос-просьба. Могу ли я получить те данные по которым Вы строили периодограмму? Я поняла, что в исходном ряду была ошибка. Вы строили по уже исправленному ряду?

Автор: DrgLena 13.11.2010 - 13:52

Программа, если вы укажете диапазон от 0 до 42 , выдаст график Periodog от частоты. Я сделала график так, чтобы показать еще и спектральную плотность, при этом мне было проще указать номер частоты по порядку, предполагая, что итоговая таблица под рукой и там указаны и частоты и соответствующие им циклы в месяцах. Но, напрягаясь, можно сделать и так, как в прилагаемом рисунке. Я уже писала, что не считаю верным использовать ряд без предварительной подготовки, как это сделала первоначально автор поста. Я использовала данные предоставленные в экселе, поскольку там есть привязка ко времени, исправив в статистике ошибку в датах и удаляя наблюдение, в котором в трех рядах были нулевые значения. Отсутствующие данные обработаны interpolation from adjacent point. Ряд не стандартизирован.
Весь ряд, но уже без спектральной плотности, т.к. будет очень много точек, то что программа выдает по умолчанию, по Вашей просьбе.

Автор: angel-of-crime 15.11.2010 - 10:00

В начале темы есть три ряда в Excell, выкладываю уже исправленные в Statistica. Пропуски - это отсутствие данных.

Автор: angel-of-crime 15.11.2010 - 10:03

Спасибо - очень емко и со ссылками. Так вот я в литературе встречала двоякое отношение к вопросу - для одних авторов, чтобы применить спектральный анализ ряд не обязательно должен быть стационарным, достаточно того, что замеры происходили за равноотстоящие промежутки времени, для других же - это непременное условие применения данного вида анализа временных рядов. Если следовать второму, то ... я на ложном пути и не имею права проводить этот анализ вовсе?

Автор: angel-of-crime 15.11.2010 - 10:24

Ну и посмотрите, пож., на проведенный анализ. Я почти пошла по предложенной Olda44 схеме и выполнила следующее:
1. Ряд данных без всяких преобразований я разложила с помощью БПФ ? получила определенные частоты и периоды.
2. Проведя процедуру differencing (вычитание со сдвигом на 1) я разложила ряд данных с помощью БПФ ? для исследования высокочастотной части спектра ? получила определенные частоты и периоды (а точнее вообще почти ничего не получила). Это означает, что у меня нет годового периода в рядах 655 и 643?
3. Проведя процедуру скользящего среднего с окном 12 (год) разложила ряд данных с помощью БПФ ? для исследования низкочастотной части спектра ? получила частоты и периоды.

Вот теперь встает вопрос - если думать, что выделенные периоды есть (!) в ряду, основываясь на гистограмме распределения периодограммы (опираясь на статистику Bartlett K-S ? см. ранее в теме), как теперь определить, какая из гармоник выбирает максимальную часть спектра. Грубо говоря, какой из циклов проявляется ?лучше?. Литературы, где я нашла подобный расчет в сети нет ? я приложила ранее в теме сканированные странички одной книги (книга.rar) (возможно, можно опереться на этот расчет, а возможно и нет). Вот как теперь, когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
P.S. В тексте книги есть одно обозначение - S2 ? авторы нигде явно его не обозначили, но по сути ? это, видимо, дисперсия исходного ряда.

Автор: angel-of-crime 15.11.2010 - 10:30

Еще посоветовали:
Чтоб строго доказать существование сигнала с периодом, который вы вычислили, сделайте следующее:

Автор: angel-of-crime 15.11.2010 - 14:45

Посмотрите еще вот этот ряд - там сто процентная 12-месячная составляющая, после применения скользящего среднего с окном 12, у меня выделился вместе с периодами 23-27, 88, 101 мес. еще и период 78 мес (он больше всех интересует, т.к. был обнаружен и в предыдущих трех рядах). И вот как доказать, что все эти 4 периода - не "писк комара" на фоне 12-месячной гармоники?
Спасибо.

Автор: DrgLena 15.11.2010 - 18:03

Поскольку вы действовали почти по плану olga44, а я по описанному плану, то и результаты сходятся не полностью. Часть того, что меня интересовало - в прилагаемом документе.
Относительно фрагментов книги, которые вы приводите, то желательно дать нормальную полную ссылку, тогда желающие смогут разобраться, что такое S2 и, возможно, помочь Вам.
Относительно теста Бартелса, тоже самое, нужна ссылка, желательно с формулой.
В сети есть готовый код на R, если, конечно это то, что вам нужно.

Автор: Olga44 16.11.2010 - 02:29

Не вижу смысла по нескольку раз отвечать на один и тот же вопрос. В моем понимании:
1. анализ временных рядов предполагает замеры временного ряда через равноотстоящие промежутки времени;
2. ряд может быть как стационарным, так и нестационарным. Нестационарность может быть НЕСКОЛЬКИХ видов (Г. Дженкинс, Д. Ваттс. Спектральный анализ и его приложения. Выпуск 1, 1971, раздел 1.2.1, СТРАНИЦА 18);
3. на этой же странице указывается " Большинство методов, имеющих дело с нестационарными временными рядами, основано на способах устранения или отфильтровывания нестационарной части, так что остается ряд, с которым можно обращаться как со стационарным" и т. д. Стало быть, нужно поинтересоваться что это за методы и какие их них подходят к исследуемому ряду, естественно, если ряд нестационарный. Если ряд стационарный, то этого делать не нужно;
4. дальнейшая обработка зависит от поставленной задачи. Если требуется определить периоды, содержащиеся во временном ряду, их определяют хорошо описанными в многочисленной литературе методами. Эта литература включает и оценку значимости полученных периодов.
Во всяком случае, я поступаю таким образом. Вы можете решать этот вопрос
- составив свое личное мнение, изучив соответствующую литературу;
- прибегнув к голосованию предлагаемых методик среди знакомых или на форуме.
Мои ответы на Ваши вопросы предполагали, что Вы должны обладать некоторым начальным объемом знаний по анализу временных рядов и желанием разобраться в этом. В нашем случае я не вижу ни того, ни другого.

Автор: angel-of-crime 16.11.2010 - 10:26

Можно поподробнее, что такое код на R?
Спасибо.

Автор: angel-of-crime 16.11.2010 - 10:29

Спасибо за потраченное время. Я здесь нахожусь лишь по той простой причине, чтобы специалисты (владеющие и теорией и практикой (!) направили меня в нужное русло). Я пыталась быть максимально тактичной, постоянно извиняясь и благодаря людей за потраченное время.

Автор: Olga44 16.11.2010 - 12:01

когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
[/quote][i][/i]

Как я уже отвечала, differencing и скользящее среднее позволяют более детально рассмотреть РАЗЛИЧНЫЕ части спектра, все зависит от постановки задачи.

Автор: Olga44 16.11.2010 - 12:04

какая из гармоник выбирает максимальную часть спектра. Грубо говоря, какой из циклов проявляется ?лучше?. Литературы, где я нашла подобный расчет в сети нет ? я приложила ранее в теме сканированные странички одной книги (книга.rar) (возможно, можно опереться на этот расчет, а возможно и нет). Вот как теперь, когда у нас два разных анализа (differencing и скользящее среднее) это применить и возможно ли?
P.S. В тексте книги есть одно обозначение - S2 ? авторы нигде явно его не обозначили, но по сути ? это, видимо, дисперсия исходного ряда.
[/quote]
В книге Г. А. Пановский, Г. В. Брайер. Статистические методы в метеорологии, 1972 г. , в главе V1 (временные ряды), в разделе 3 (Анализ периодических флуктуаций), на стр. 131-132 дается ответ на вопрос какая часть полной дисперсии ряда учитывается гармониками. Приведен пример.

Автор: angel-of-crime 16.11.2010 - 12:43

Спасибо, а ссылку (в смысле на скачивание) если имеется?

Автор: Olga44 16.11.2010 - 12:54

Если ряд содержит тренд, процедура differencing, как правило, позволяет его исключить и получить боллее более точную оценку высокочастотной части ряда. Скользящее среднее позволяет отфильтровать высокочастотные составляющие.

Автор: DrgLena 16.11.2010 - 12:55

Т.к. первоначально пост назывался ?Требуется помощь в Statistica, Временные ряды?, то я откликнулась, поскольку неплохо знаю пакет и очень плохо временные ряды. Имея ряды автора поста, немного продвинулась в их изучении, за что автору поста, спасибо. Литературы для самостоятельного изучения в сети, на сегодняшний день, предостаточно, от фундаментальных книг до реализации в пакетах, в том числе бесплатных ®.

Ответ найдите в сети самостоятельно.

Большинство таких специалистов уже расхватали финансовые биржи. И вряд ли они будут искать нужную вам информацию и пережевывать ее для вашего восприятия.

Вы вовсе не должны извиняться, все участники дискуссии приходят сюда по доброй воле, волонтеры.
Просьба ? вопрос к olga44, если у Вас есть описание использования Фурье во временных рядах, не в финансовых, а в научных целях, прислать на форум или в личный ящик на форуме.

Автор: angel-of-crime 16.11.2010 - 13:00

Спасибо, это понятно.

Автор: angel-of-crime 16.11.2010 - 13:01

И все-таки, если имеется ссылка на скачивание - поделитесь, please.

Автор: Olga44 16.11.2010 - 13:04

В электронном виде у меня ее нет. А главу V1 полезно было бы прочитать полностью.

Автор: angel-of-crime 16.11.2010 - 13:05

Понятно, спасибо.

Автор: Olga44 16.11.2010 - 15:31

Как пример могу прислать статью. Гармонический анализ был лишь инструментом, что и куда подставлять в ней не описано.

Вторая статья посвящена анализу внутригодовой (сезонной) изменчивости. Имеет тоже прикланой характер. Опубликована в ж. "Еколог?я довк?лля та безпека житт?д?яльност?, 2004, ?2, с.48-52.

Автор: Olga44 16.11.2010 - 16:49

Кстати, ответ на интересующий Вас вопрос есть и на 2-3 странице Вашей книги. Там и формулы, и пример. Так что считайте на здоровье.

Автор: DrgLena 16.11.2010 - 21:43

olga44, спасибо за статьи, это то что нужно, понятно, к чему и как "прикладывать" временные ряды.

Автор: angel-of-crime 17.11.2010 - 09:47

Это мне и так понятно (раз я выложила именно эти странички), только, видимо, собака все же где-то порылась, потому как первые 10 гармоник не выбирают даже порядка 40% дисперсии - такого быть не может.

Автор: Olga44 18.11.2010 - 01:25

Что "это и так понятно", уже хорошо. Теперь осталось только произвести рассчет без ошибок. Удачи!

Автор: DrgLena 18.11.2010 - 12:10

Возможно, мой расчет с ошибками, порядке самообразования, я посчитала доли дисперсии, как указано в отсканированных листочках, хотя ссылку автор поста таки не дал. Я получила и таблицу 7.2 и 7.3. Но возникло два вопроса. Почему взятые две первые гармоники описывают 95%, а не 91,0+0,3%=91,3%. Почему S2= 67,85, а не 74,02? Первоисточник остался неизвестный, ссылки так и нет.

Автор: angel-of-crime 18.11.2010 - 12:44

Да, эти вопросы возникли и у меня. Источник этих страниц следующий: Логинов В.Ф., Волчек А.А. Практика применения статистических методов при анализе и прогнозе природных процессов. - Брест, 2004. - 300 с. Однако, прямо сейчас занимаюсь изучением ссылки, которую дала Olga 44 Пановский Г.А., Брайер Г.В. Статистические методы в метеорологии и убеждаюсь, что выложенные мной отсканированные странички - не что иное как 100% плагиат (причем почти слово в слово с. 128-132 и там уже другой ряд и все выполнено верно). Так что можно сделать вывод, что авторы просто наплевательски отнеслись к своей книге. Правда, этой книги я тоже в сети не нашла (если хотите - я могу также отсканировать указанные страницы).

Данный расчет я уже выполнила для своих рядов и проверила на ошибки! Только не могу одного понять - совершенно понятно и ясно, что если в ряду присутствует 12-месячный цикл, то он выберет наибольшую часть дисперсии, а 5-6-летний и 21 летний - гораздо меньшие, так что теперь 5-6 и 21-летние циклы можно откинуть, как выбирающие порядка 11 и 5% процентов дисперсии соответственно и забыть про их существование? Вот на какой вопрос я хотела получить ответ, создавая пост!
Спасибо большое за внимание.

Автор: angel-of-crime 18.11.2010 - 13:51

DrgLena, не дожидаясь ответа - выкладываю страницы 126-133 книги Пановский Г.А., Брайер Г.В. Статистические методы в метеорологии / пер. с англ. И.П. Гейбера, В.А. Шнайдмана // под ред. Л.С. Гандина, Р.Л. Кагана. - Л.: Гидрометеоиздат, 1972. - 210 с.

Автор: DrgLena 18.11.2010 - 16:12

Да уж, теперь понятно, откуда вылезло 95%.
Спасибо!

Автор: Olga44 18.11.2010 - 18:36

Данный расчет я уже выполнила для своих рядов и проверила на ошибки! Только не могу одного понять - совершенно понятно и ясно, что если в ряду присутствует 12-месячный цикл, то он выберет наибольшую часть дисперсии, а 5-6-летний и 21 летний - гораздо меньшие, так что теперь 5-6 и 21-летние циклы можно откинуть, как выбирающие порядка 11 и 5% процентов дисперсии соответственно и забыть про их существование? Вот на какой вопрос я хотела получить ответ, создавая пост!
Спасибо большое за внимание.[/quote]

1. Хотелось бы видеть картинку с изображением Вашего ряда (изменение показателя во времени).
2. Какой процент В СУММЕ дают годовой, 5-6-летний и 21 летний циклы?
3. Забыть или не забыть об их существовании зависит от цели, которую Вы ставили перед собой, начиная работу; от содержательной постановки задачи. Получили Вы периоды - дальше что? Для чего, собственно говоря, Вам нужен был этот анализ? Дайте себе ответ на эти вопросы.
Следует заметить, что 5-6 летний, 21-22 летние циклы часто присутствуют в рядах, характеризующих различные природные процессы. Последний связывают с солнечной активностью.

Автор: angel-of-crime 22.11.2010 - 13:43

DrgLena, скажите, Statistica выдает Ai и Bi уже умноженные на величину Х (т.е. на значение ряда)?
Снимаю вопрос - поняла, что умноженные, только не совпадают с вычисленными по методу из Пановский Г.А. Почему?

Автор: Glaz 23.11.2010 - 23:43

Добрый день! Извините, что влез не туда со своим вопросом. Просто не хотел создавать лишнюю, наверное, мало кому необходимую, тему. Помогите перевести выделенный фрагмент в контексте ?The inter- and intrarater reliability of the TLISS scale have been demonstrated to range from fair to substantial (k values range from 0.24 to 0.724), with more recent investigations documenting improved interrater reliability.
Спасибо!

Автор: DrgLena 24.11.2010 - 01:56

Суммируемые произведения (коэффициенты Аi и Вi в таблице 7.3 первого источника), а в итоговой таблице программы Statistica обозначенные как Sine Coeff и Cosine Coeff, действительно не совпадают (может быть использован не метод наименьших квадратов), но в расчет амплитуды или интенсивности входит сумма их квадратов, а они совпадают, поэтому и результат в виде амплитуды или интенсивности (periodogram) каждой гармоники при ручном расчете этого примера и в программе Statistica точно совпадают. Если вы хотите получить такие же значения коэффициентов Фурье, как в этом примере, воспользуйтесь программой AtteStat.

Автор: angel-of-crime 24.11.2010 - 15:35

Спасибо. Подскажите, пож., как вычисляется и как интерпретировать ряд под названием "фаза" в результатах гармонического анализа AtteStat. Спасибо.

Автор: angel-of-crime 24.11.2010 - 15:36

Закинь в on-line переводчик. Prompt, например.

Автор: DrgLena 24.11.2010 - 16:53

Вы забыли почитать справку по TIME. В AtteStat и формулы и ссылки любезно предоставлены.
Такое впечатление, что вы никак не можете сделать домашнее задание, но раскрыть учебник, нет времени.

Автор: angel-of-crime 24.11.2010 - 18:03

Да, DrgLena, согласна с Вами - целые группы разработчиков AtteStat и Statistica, у которых не бьют ни гармоники, ни амплитуды, ни, соответственно, доли дисперсии (а для ряда из книги - это просто совпадение) и выделяется черт пойми что в данных- выполнили домашнее задание на оценку "отлично", а я, которая пытаюсь разобраться во всей этой чехарде, переписанной 300 раз из разных источников и искаженной до неузнаваемости - просто набитая дура, забывшая раскрыть учебник! Неужели, имея определенный багаж знаний, так трудно оставить амбиции и просто помочь...

Как бы ни было - я во многом разобралась и с Вашей помощью - спасибо.

Автор: DrgLena 24.11.2010 - 20:26

В Prompt можно закинуть angel-of-crime...., хотя и так понятно
А вопрос перевода выделенной фразы касается важного статистического понятия, поэтому лучше кинуть вопрос в отдельную ветку, но можно начать с Wikipedia, а то потеряетесь во временных рядах.

Автор: EVGEN 11.05.2011 - 16:54

Здравствуйте! Помогите разобраться, при работе в модуле экспертных оценок после введения данных и выполнения расчета программа выдает следующее

Заранее спасибо за помощь!

Автор: Игорь 11.05.2011 - 18:33

С чем разобраться? Это программа AtteStat. Не может после расчета такое выдаваться, если все правильно установлено и электронные таблицы Excel не повреждены.

Для чистоты эксперимента корректно удалите AtteStat (полному удалению может воспрепятствовать "Контроль учетных записей" в Windows Vista или 7 - в этом случае на время удаления его можно отключить). Загрузите и установите последнюю версию AtteStat с сайта http://attestatsoft.narod.ru

Автор: EVGEN 13.05.2011 - 03:55

Игорь спасибо! Да действительно это AtteStat, извиняюсь, по невнимательности написал в другую тему. Загружена последняя версия, наверно дело в том что у меня win7 т.к. на работе стоит XP и там все работает.

Автор: Игорь 16.05.2011 - 10:44

Программа неоднократно проверена на различных (98, XP, Vista, 7, 2003, 2008) версиях Windows и различных (97, XP, 2003, 2007, 2010) версиях Office (в том числе в серверных вариантах установки Office). Проблемы у некоторых пользователей были, но при подробном рассмотрении это были проблемы установки Office в том смысле, что после переустановки системы (Windows и все остальное) программа начинала работать исправно.

При разработке AtteStat использованы только стандартные документированные функции Excel, но это не значит, что при очередном обновлении ПО Microsoft все будет нормально работать - как показал опыт, MS Office не является обратно совместимым ПО (описаны проблемы переносимости файлов и макросов между его разными версиями). Это касается не только ПО Microsoft, но и любого другого. Например, сервера Windows я всегда обновляю с большой опаской, а сервера Linux после запуска той или иной информационной системы никогда не обновляю вообще. Рабочие станции Windows обновляю только после того, как на специально выделенных (раньше это были домашние компьютеры, сейчас дома Windows осталась только на ноутбуке) компьютерах обновление будет установлено и поработает неделю - после успеха тест-драйва обновление раздается на все компьютеры в сети.