Анализ последовательности данных (временных рядов). Рассматриваются данные, образующие временную или пространственную последовательность, т.е. связанные. - презентация

1 Анализ последовательности данных (временных рядов). Рассматриваются данные, образующие временную или пространственную последовательность, т.е. связанные между собой отношением предыдущий, последующий. Например, результаты наблюдений по профилю или по разрезу, многолетние наблюдения над каким-либо событием в определённом месте (даты землетрясений, извержений вулканов). Большинство методов анализа последовательности данных основывается на предположении o равенстве временных или пространственных промежутков между событиями.

2 Зонирование. Зонирование – это разделение последовательности на относительно однородные сегменты, каждый из которых отличен от прилегающих сегментов. Имеется 2 типа методов зонирования – локальный и глобальный. Локальный тип основан на поиске внезапного изменения средних значений последовательности. Ряд значений изучается движением короткого интервала вдоль последовательности. Этот интервал называется скользящим окном. Он распадается на 2 части: сегмент от точки i+h до точки i и другой сегмент от точки i до точки i-h. Далее вычисляется обобщённая разность D 2 : - средние значения в сегментах - дисперсии в сегментах Функция D 2 приводит к преобразованию траверса в новую последовательность, в которой границы зон имеют вид острых пиков. Методы локального поиска могут привести к получению большого количества границ, в частности, в наиболее изменчивой части последовательности. Кроме того, первые точки последовательности до границы скользящего окна и последние точки, расположенные после границы не могут быть сегментированы

3 Глобальное зонирование основано на последовательном дихотомическом разбиении всего ряда. На первом шаге для всех возможных положений границы, которая разделила бы ряд на 2 сегмента (т.е. для каждой точки) рассчитывается величина - сумма кувадратов между сегментами, которая характеризует межгрупповую изменчивость. – сумма кувадратов внутри сегментов, которая характеризует внутригрупповую изменчивость Далее выбирается точка с наибольшим значением R, проводится проверка значимости разбиения (как в дисперсионном анализе) и если различия между сегментами значимы, в этой точке проводится граница, разбивающая последовательность на 2 сегмента. Далее процедура повторяется для каждого из выделенных сегментов.

4 Сглаживание (фильтрация) данных. Сглаживание включает некоторый способ локального усреднения данных, при котором несистематические компоненты взаимно погашают друг друга.

5 Самый общий метод сглаживания - скользящее среднее, в котором каждый член ряда заменяется простым или взвешенным средним n соседних членов, где n - ширина окна

6 Вместо среднего можно использовать медиану значений, попавших в окно. Основное преимущество медианного сглаживания, в сравнении со сглаживанием скользящим средним, в том, что результаты становятся более устойчивыми к выбросам (имеющимся внутри окна). Основной недостаток медианного сглаживания в том, что при отсутствии явных выбросов, он приводит к более зубчатым кривым (чем сглаживание скользящим средним) и не позволяет использовать веса.

7 4253H фильтр. Фильтр включает несколько последовательных преобразований: (1) 4-х точечная скользящая медиана, центрированная скользящей медианой 2, (2) 5- ти точечная скользящая медиана, (3) 3-х точечная скользящая медиана, (4) 3- точечное взвешенное скользящее среднее с весами (.25,.5,.25), (5) вычисляются остатки вычитанием преобразованного ряда из исходного ряда, (6) шаги повторяются для остатков, (7) преобразованные остатки добавляются к преобразованному ряду. На практике этот метод фильтрации дает сглаженный ряд, сохраняя основные характеристики исходного ряда.

8 + + --

9 На верхних графиках показано распределение Au и Hg по профилю до и после сглаживания, на нижних – корреляция между Au и Hg. Исходные данные Сглаженные данные

10 Гармонический анализ используется для изучения явлений, в которых предполагается периодичность (ритмичном напластовании горных пород, развитие систем упорядоченных трещин, формирование рудных столбов, землетрясения, цунами, извержение вулканов и т.д. Гармонический анализ.

11 В составе закономерной изменчивости часто присутствует периодическая составляющая. Гармонический анализ позволяет представить ряд исходных данных как сумму синусоид и выделить наиболее существенные синусоиды, которые вносят основной вклад в изменчивость пространственной переменной. Каждая синусоида имеет три характеристики: амплитуду А, длину волны L (или обратную ей величину – частоту) и начальную фазу, Амплитуда A - высота волны (характеризует энергию волны или её дисперсию). Длина волны - расстояние от одной точки волны до эквивалентной точки на следующей волне A Фазовый угол (фаза) - начальный угол синусоиды ( на рис. различия между y 1 и y 2 для определённого x характеризуют разность фаз двух волновых форм).

12 Частота – число волн, укладывающихся в единицу времени или длины (например, при анализе данных по профилю единицей длины будет длина профиля) Частота – величина, обратная длине волны Частота = 1 Частота = 2 Частота = 4

13 Для выделения наиболее существенных синусоид, которые вносят основной вклад в изменчивость пространственной переменной используется соотношение Фурье, которое утверждает, что любой временной ряд (если он непрерывен, без изломов и для каждого X может быть определено только одно значение Y) может быть представлен суммой рядов синусоидальных волн. A k - амплитуда k-ой гармоники, - фазовый угол k-ой гармоники - угол в радианах (координата x в радианах) Если длина профиля X=180 точек (расположенных на равных расстояниях друг от друга), то координата x ( ) точки с номером 60 при частоте=1 равна радиан или 120°, а при частоте = ° Все точки профиля, отстоящие друг от друга на расстояние, равное длине волны, при фиксированной частоте и фазе будут иметь одну и ту же угловую координату, т.е. все точки как бы проектируются на одну единственную волну. X – длина профиля или количество точек в профиле; x – расстояние конкретной точки от начала профиля или её порядковый номер в профиле.

14 Имея временной ряд (т.е. последовательность значений Y и расстояние между ними), можно рассчитать амплитуду и фазовый угол для любой гармоники, заданной частотой v или периодом (длиной волны). Амплитуда Фазовый угол - значение i-ого наблюдения- частота В этих формулах:

15 Периодограмма солнечной активности Период Амплитуда График спектральной плотности солнечной активности Амплитуда Частота Вычислив амплитуды для всех частот ( количество частот ограничено количеством наблюдений ), можно построить графики частота – амплитуда (график спектра) период – амплитуда (периодограмму). По графикам можно судить о наличии или отсутствии цикличности во временном ряду и, если цикличность выявлена, то оценить степень её проявления и величину наиболее значительных периодов.

16 Исходные данные Гармоника с периодом 340 м «объясняет» 48,8% общей дисперсии Гармоника с периодом 160 м «объясняет» 24% общей дисперсии Сумма гармоник 340 и 160 м «объясняет» 72,8% общей дисперсии Приммер

17 Гармонический анализ может быть использован для сглаживания данных и выявления закономерной составляющей.

18 Радиус нулевой корреляции Автокорреляция. Лаг = 1 Лаг = 2 Лаг = ,2 0,4 0,2 0,8 0,6 1,0 лагkf cor Автокорреляция – это корреляция последовательности данных со своей копией, смещённой относительно оригинала на расстояния, кратные интервалам между соседними наблюдениями.

19 1. Синусоидальная волна с длиной 20 единиц 2. Последовательность случайных чисел (шум) 3. Последовательность, возрастающая по линейному закону (тренд) 4. Сумма синусоидальных волн и случайного шума (сумма 1 и 2) 5. Сумма синусоидальных волн и случайного шума и линейного тренда (сумма 1, 2 и 3) Автокорреляционные функции идеализированных временных рядов. С помощью автокорреляционной функции можно установить размер области, в пределах которой существует зависимость между значениями признака. На расстояниях превышающих радиус нулевой корреляции проводить интерполяцию бессмысленно.

20 Cr Взаимная корреляция. В отличие от автокорреляции, при которой временной ряд сравнивается сам с собой, взаимная корреляция – это сравнение 2-х разных временных рядов с целью определить положение наибольшего соответствия. Ni

21

22 Анализ временных рядов в STATISTICA Запуск анализа Выбор переменных

23 Выбор анализа. Сглаживание, Автокорреляция, Взаимная корреляция (кросскореляция) Гармонический анализ

24 Сглаживание (фильтрация)

25 Посмотреть результат сглаживания и сравнить с исходной кривой.

26

27