Автокорреляция

Автокорреляция (последовательная корреляция) опреде­ляется как корреляция между наблюдаемыми показателями, упорядоченными во времени (временные ряды) или в пространстве (перекрестные данные). Положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов.

Пример автокорреляции

Отрицательная автокорреляция фактически означает, что за положительным отклонением следует отрицательное и на­оборот

Основные причины, вызывающие появление автокор­реляции: - ошибки спецификации; - инерцию в изменении экономических показателей; - эффект паутины; - сгла­живание данных.

Ошибки спецификации Неучет в модели какой-либо важ­ной объясняющей переменной либо неправильный выбор фор­мы зависимости обычно приводит к системным отклонениям точек наблюдений от линии регрессии, что может обусловить автокорреляцию. Пример Анализируется зависимость предельных издержек МС от объема выпуска Q. Если для ее описания вместо реальной квадратичной модели МС = β 0 + β 1 Q + β 2 Q 2 + ε выбрать линейную модель МС=β 0 +β 1 Q+ε, то совершается ошибка спецификации.

Инерция Многие экономические показатели (например, ин­ фляция, безработица, ВНП и т. п.) обладают определенной цик­личностью, связанной с волнообразностью деловой активности. Действительно, экономический подъем приводит к росту занято­сти, сокращению инфляции, увеличению ВНП и т.д. Этот рост продолжается до тех пор, пока изменение конъюнктуры рынка ряда экономических характеристик не приведет к замедлению роста, затем остановке и движению вспять рассматриваемых показателей. В любом случае эта трансформация происходит не мгновенно, а обладает определенной инертностью.

Эффект паутины Во многих производственных и других сферах экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом). Например, предложение сельскохозяйственной продукции реагирует на изменение цены с запаздыванием (равным периоду созревания урожая). Большая цена сельскохозяйственной продукции в прошедшем году вызовет (скорее всего) ее перепроизводство в текущем году, а, следовательно, цена на нее может снизится и т.д.

Сглаживание данных Зачастую данные по некоторому про­ должительному временному периоду получают усреднением данных по составляющим его подынтервалам. Это может при­вести к определенному сглаживанию колебаний, которые име­лись внутри рассматриваемого периода, что в свою очередь мо­жет послужить причиной автокорреляции.

Последствия автокорреляции 1. Оценки параметров, оставаясь линейными и несмещен­ными, перестают быть эффективными. Следовательно, они пе­рестают обладать свойствами наилучших линейных несмещен­ных оценок. 2. Дисперсии оценок являются смещенными. Часто дис­персии, вычисляемые по стандартным формулам, являются заниженными, что влечет за собой увеличение t-статистик. Это может привести к признанию статистически значимыми объяс­няющие переменные, которые в действительности таковыми могут и не являться.

3. Оценка дисперсии регрессии является смещенной оценкой истинного значения σ 2, во многих случаях занижая его. 4. В силу вышесказанного выводы по t- и F- статистикам, определяющим значимость коэффициентов регрессий и коэффициента детерминации, возможно, будут неверными. Вследст­вие этого ухудшаются прогнозные качества модели.

Обнаружение автокорреляции В силу неизвестности значений параметров уравнения рег­рессии неизвестными будут также и истинные значения откло­нений ε t. Поэтому выводы об их независимости осуществляются на основе оценок e t, t = 1, 2,..., Т, полученных из эмпирического уравнения регрессии.

Методы определения автокорреляции: графический метод; метод рядов; критерий Дарбина Уотсона;

Графический метод Необходимо увязать отклонения e t с моментами t их получения (их порядковыми номерами i). Для этой цели строятся так называемые последовательно-вре­менные графики: по оси абсцисс обычно отклады­ ваются либо время (момент) получения статистических дан­ных, либо порядковый номер наблюдения, а по оси ординат отклонения ε t (либо оценки отклонений e t ).

Пример применения графического метода

Вывод На рис. аг имеются определенные связи между отклонениями, т.е. автокорреляция имеет место. Отсутствие зависимости на рис. д скорее всего свидетельствует об отсутствии автокорреляции. Например, на рис. 4, б отклонения вначале в основном отрицательные, затем положительные, потом снова отрицательные. Это свидетельствует о наличии между отклонениями определенной зависимости. Более того, можно утверждать, что в этом случае имеет место положительная автокорреляция остатков. Она становится весьма наглядной, если график на рис. б дополнить графиком зависимости e t от e t-1.

Зависимость e t от e t-1 для случая, приведенного на рис. б

Подавляющее большинство точек на этом графике распо­ложено в I и III четвертях декартовой системы координат, подтверждая положительную зависимость между соседними отклонениями.

Метод рядов Необходимо последовательно определить знаки отклонений e t, t = 1, 2,..., Т. Например, (– – – – –) ( ) (– – –) ( ) (–), т.е. 5 «–», 7 «+», 3 «–», 4 «+», 1 «–» при 20 наблюдениях. Ряд определяется – как непрерывная последовательность оди­наковых знаков. Количество знаков в ряду называется длиной ряда.

Визуальное распределение знаков свидетельствует о неслу­чайном характере связей между отклонениями. Если рядов слишком мало по сравнению с количеством наблюдений n, то вполне вероятна положительная автокорреляция. Если же ря­дов слишком много, то вероятна отрицательная автокорреля­ция. Для более детального анализа предлагается следующая процедура. Пусть п объем выборки; п 1 общее количество знаков «+» при п наблюдениях (ко­личество положительных отклонений e t ); п 2 общее количество знаков «-» при п наблюдениях (ко­личество отрицательных отклонений e t ); k количество рядов.

При достаточно большом количестве наблюдений (n 1 > 10, п 2 > 10) и отсутствии автокорреляции СВ k имеет асимптотиче­ски нормальное распределение с Тогда, если M(k) – u α/2 D(k) < k < M(k) + u α/2 D(k), то гипоте­за об отсутствии автокорреляции не отклоняется.

Для небольшого числа наблюдений (п 1 < 20, п 2 < 20), были разработаны таблицы критических значений количе­ства рядов при n наблюдениях. Суть таблиц в следующем. На пересечении строки n 1 и столбца n 2 определяются ниж­нее k 1 и верхнее k 2 значения при уровне значимости α = 0,05. Если k 1

Критерий Дарбина Уотсона Метод оп­ределения автокорреляции на основе статистики Дарбина Уотсона (DW) состоит в том, что на осно­ве вычисленной статистики DW Дарбина Уотсона делается вы­вод об автокорреляции.

Статистика Дарбина Уотсона тес­но связана с выборочным коэффициентом корреляции : Таким образом, 0 DW 4, и ее значения могут указать на наличие либо отсутствие автокорреляции. Действительно, если 0 (автокорреляция отсутствует), то DW 2. Если 1 (положительная автокорреляция), то DW 0. Если –1 (отрицательная автокорреляция), то DW 4.

Общая схема критерия Дарбина Уотсона 1. По построенному эмпирическому уравнению регрессии y t =b 0 +b 1 х t b т х tm определяются значения отклонений e t = y t – для каждого наблюдения t, t = 1, 2,..., Т. 2. Рассчитывается статистика DW.

3. По таблице критических точек Дарбина Уотсона опреде­ляются два числа d 1 и d u и осуществляют выводы по правилу: 0 DW < d 1 существует положительная автокорреляция, d 1 DW < d u вывод о наличии автокорреляции не определен, d u DW 4 – d u автокорреляция отсутствует, 4 – d u < DW < 4 – d 1 вывод о наличии автокорреляции не определен, 4 – d 1 DW 4 существует отрицательная автокорре­ляция.

При использовании критерия Дарбина Уотсона необходимо учитывать следующие ограничения: 1. Критерий DW применяется лишь для тех моделей, кото­рые содержат свободный член. 2. Предполагается, что случайные отклонения ε t опреде­ляются по итерационной схеме: ε t =ρε t-1 + v t, называемой авто­регрессионной схемой первого порядка АЕ(1). Здесь v t слу­чайный член. 3. Статистические данные должны иметь одинаковую пе­риодичность (т.е. не должно быть пропусков в наблюдениях).,

4. Критерий Дарбина Уотсона не применим для регресси­онных моделей, содержащих в составе объясняющих перемен­ных зависимую переменную с временным лагом в один период, т.е. для так называемых авторегрессионных моделей вида: y t =β 0 + β 1 х t β т х tm +γ y t-1 + ε t.

Для авторегрессионных моделей разработаны специальные тесты обнаружения автокорреляции, в частности h-статистика Дарбина, которая определяется по формуле где оценка ρ авторегрессии первого порядка, D(g) выборочная дисперсия коэффициента при лаговой переменной y t-1, n число наблюдений.

При большом объеме выборки n и справедливости нулевой гипотезы Н 0 : ρ = 0 статистика h имеет стандартизированное нормальное распределение. Поэтому по заданному уровню значимости α определяется критическая точка u α/2 из условия Ф(u α/2 ) = (1- α)/2 и сравнивается h с u α/2. Если > u α/2, то нулевая гипотеза об отсутствии автокорреляции должна быть отклонена. В противном случае она не отклоняется. Отметим, что обычно значение рассчитывается по форму­ле = 1- 0,5DW, a D(g) равна квадрату стандартной ошибки оценки g коэффициента γ. Поэтому h легко вычисляется на основе данных оцененной регрессии. Основная проблема при использовании этого теста заклю­чается в невозможности вычисления h при nD(g) > 1.

Методы устранения автокорреляции Используется авторегрессионное преобразование. В линейной регрессионной модели наиболее целесообразным и простым преобразованием является авторегрессионная схема первого порядка AR(1).

Рассмотрим модель парной линейной регрессии Y = β 0 + β 1 x+ ε. Тогда наблюдениям t и (t -1) соответствуют : y t = β 0 + β 1 x t +e t, y t-1 = β 0 + β 1 x t-1 +e t-1.

Пусть случайные отклонения подвержены воздействию авторегрессии первого порядка: ε t =ρε t-1 + v t, где v t, t = 2, 3,..., Т случайные отклонения, удовлетворяющие всем предпосылкам МНК, а коэффициент ρ известен.

После преобразований получим: y t – ρy t-1 = β 0 (1–ρ)+ β 1 (x t – x t-1 ) +(ε t – ε t-1 ) Положив получим:

Так как по предположению коэффициент ρ известен, то очевидно, y t *, x t *, v t вычисляются достаточно просто. В силу того что случайные отклонения v t удовлетворяют предпосылкам МНК, оценки β 0 * и β 1 будут обладать свойствами наилучших линейных несмещенных оценок.

Недостатки 1) На практике значение коэффициента ρ обычно неизвестно и его необходимо оценивать. 2) Данный способ вычисления у t *, х t * приводит к потере первого наблюдения (если мы не обладаем предшествующим ему наблюдением). Число степеней свободы уменьшится на единицу, что при больших выборках не так существенно, но при малых выборках может привести к потере эффективности.

Поправка Прайса-Винстена

Авторегрессионное преобразование может быть обобщено на произвольное число объясняющих переменных, т.е. использовано для уравнения множественной регрессии. Авторегрессионное преобразование первого порядка AR(1) может быть обобщено на преобразования более высоких поряд­ков AR(2), AR(3) и т.д.

Определение ρ на основе статистики Дарбина Уотсона Статистика Дарбина Уотсона тесно связана с коэффициентом корреляции между соседними отклонениями через соотношение (2):

В качестве оценки коэффициента ρ может быть взят коэффициент r = r et,e(t-1) Этот метод оценивания весьма неплох при большом числе наблюдений. В этом случае оценка r параметра ρ будет достаточно точной.

Метод Кохрана Оркатта 1. Оценивается по МНК линейная регрессия и для нее определяются оценки e t отклонений ε t, t = 1, 2,..., Т. 2. С использованием авторегрессионной схемы первого порядка оценивается регрессионная зависимость e t =ρ 1 e t-1 + v t, где ρ 1 оценка коэффициента ρ.

3. На основе данной оценки строится уравнение: y t – ρ 1 y t-1 = α (1–ρ 1 )+ β(x t – ρ 1 x t-1 ) +(ε t – ρ 1 ε t-1 ) с помощью которого оцениваются коэффициенты α и β (в этом случае значение ρ 1 известно). 4. Значения β 0 = α (1 – ρ 1 ) и β 1 = β подставляются в уравнение регрессии. Вновь вычисляются оценки e t отклонений и процесс возвращается к этапу 2.

Чередование этапов осуществляется до тех пор, пока не будет достигнута требуемая точность, т.е. пока разность между предыдущей и последующей оценками ρ не станет меньше любого наперед заданного числа.

Метод Хилдрета Лу По данному методу регрессия yt – ρyt-1 = β0 (1–ρ)+ β1 (xt – xt-1) +(εt – ε t-1) оценивается для каждого возможного значения ρ из отрезка [-1, 1] с любым шагом (например, 0,001; 0,01 и т.д.). Величина ρ1, дающая наименьшую стандартную ошибку регрессии, принимается в качестве оценки коэффициента ρ. И значения β0 и β1 оцениваются из уравнения регрессии именно с данным значением ρ1. Этот итерационный метод широко используется в пакетах прикладных программ.

Метод первых разностей В случае, когда есть основание считать, что автокорреляция отклонений очень велика, можно использовать метод первых разностей. Для временных рядов характерна положительная автокорреляция остатков. Поэтому при высокой автокорреляции полагают р = 1, и, следовательно, уравнение принимает вид yt – yt-1 = β1 (xt – xt-1) +(εt – ε t-1) или yt – yt-1 = β1 (xt – xt-1) + vt

Обозначив Δy t = y t – y t-1, Δx t = x t – x t-1, получим Δy t = β 1 Δx t + v t. Из этого уравнения по МНК оценивается коэффициент β 1. Заметим, что коэффициент β 0 в данном случае не определяется непосредственно. Однако из МНК известно, что β 0 = у – β 1 x. В случае ρ = –1, можно получить следующее уравнение регрессии: y t + y t-1 =2 β 0 + β 1 (x t – x t-1 ) + v t или 0,5(y t + y t-1 ) =β 0 + 0,5β 1 (x t – x t-1 ) + v t

Однако метод первых разностей предполагает слишком сильное упрощение (ρ = ±1). Поэтому более предпочтительными являются приведенные выше итерационные методы.

Вывод В силу ряда причин (ошибок спецификации, инерционности рассматриваемых зависимостей и др.) в регрессионных моделях может иметь место корреляционная зависимость между соседними случайными отклонениями. Это нарушает одну из фундаментальных предпосылок МНК. Вследствие этого оценки, полученные на основе МНК, перестают быть эффективными.

Это делает ненадежными выводы по зна­ чимости коэффициентов регрессии и по качеству самого уравнения. Поэтому достаточно важным является умение определить наличие автокорреляции и устранить это нежелательное явление. Существует несколько методов определения автокор­реляции, среди которых были выделены графический, метод рядов, критерий Дарбина Уотсона.

При установлении автокорреляции необходимо в первую очередь проанализировать правильность спецификации модели. Если после ряда возможных усовершенствований регрессии (уточнения состава объясняющих переменных либо изменения формы зависимости) автокорреляция по-прежнему имеет место, то, возможно, это связано с внутренними свойствами ряда отклонений. В этом случае возможны определенные преоб­разования, устраняющие автокорреляцию.

Среди них выделяется авторегрессионная схема первого порядка AR(1), которая, в принципе, может быть обобщена которая может быть обобщена и на схемы более высоких порядков вторая третья и т.д. Для применения указанных схем необходимо оценить коэффициент корреляции между отклонениями.

Это может быть сделано различными методами: на основе статистики Дарбина Уотсона, Кохрана-Оркатта, Хилдрета-Лу и др. В случае наличия среди объясняющих переменных лаговой зависимой переменной наличие автокорреляции устанавливается с помощью h-статистики Дарбина. А для ее устранения в этом случае предпочтителен ме­ тод Хилдрета Лу.

ПРИМЕР ПОСТРОЕНИя МОДЕЛИ ПАРНОЙ КОРРЕЛЯЦИИ Рассмотрим построение аналитической зависимость выработки, приходящейся на одного рабочего от коэффициента текучести кадров. Статистические данные приведены в табл.

Наблюдение i Результативны й признак y Фактор x Наблюдение i Результативны й признак y Фактор x 110,30,15105,30,26 29,60,18115,80,23 38,90,191250,37 44,70,44135,10,57 56,30,35144,30,37 65,40,28154,60,28 76,50,23166,30,24 85,10,36177,70,28 96,20,421870,26

Анализируя поле корреляций, задаемся гипотезой о существовании между рассматриваемыми величинами линейной зависимости вида y=a+bx. Для вычисления коэффициентов регрессии предварительно вычислим величины:

Таким образом, линейная зависимость будет описываться зависимостью вида y=9, ,03661x. Находим коэффициент корреляции между изучаемыми величинами

Знак минус у коэффициента корреляции показывает на обратно пропорциональную связь между изучаемыми величинами.

Исследование модели Оценим значимость полученного коэффициента корреляции, проверив справедливость нулевой гипотезы. В качестве которой используется предположение о равенстве нулю коэффициента корреляции

Вывод: нулевая гипотеза не подтвердилась и связь между рассматриваемыми величинами существует. Проведем проверку значимости коэффициентов регрессии по формулам

Находим табличное значение критерия Стьюдента. Для вероятности 5 % и числе степеней свободы f=N-2=16 (число наблюдений минус число коэффициентов уравнения регрессии) t=2,12, а с вероятностью 2 % - t=2,567. Таким образом, полученные результаты свидетельствуют о том, что коэффициенты линейного уравнения регрессии a и b с вероятностью 95 % будут отличны от нуля

Если же требуется повышенная степень вероятности (это характерно для особо ответственных расчетов), то полученная модель не отвечает этим требованиям, так как гипотеза об отличии коэффициентов регрессии от нуля не подтвердилась, то есть, и, следовательно, с вероятностью 2 % коэффициент «a»уравнения регрессии будет равняться нулю.

Найдем оценку значимости уравнения регрессии с помощью критерия Фишера. С этой целью определим по формуле где - дисперсия фактических значений зависимого переменного; N-n-1=f 1 ; N- 1=f 2 - число степеней свободы.

По числу степеней свободы, задавшись вероятностью, можно определить табличное значение критерия Фишера. Если F F табл, то уравнение регрессии считается значимым, т.е. уравнение будет давать достаточно надежные прогнозы и может быть использовано.

Значение критерия Фишера F расчетное =1,5811 для степеней свободы Таким образом, F расчетное

Следовательно, гипотеза о значимости уравнения регрессии не подтверждается, а это означает, что предсказательная сила среднего значения изучаемой величины выше, чем у полученного уравнения регрессии. Анализируя все полученные оценки, можно сделать вывод о том, что использование линейной аппроксимации при решении поставленной задачи не оправдано. Рассмотрим аппроксимацию изучаемых величин при помощи степенной зависимости вида

Находя коэффициенты уравнения регрессии «a» и «b», получаем Тесноту связи оценим по корреляционному соотношению

Оценим значимость полученного коэффициента корреляции, проверив справедливость нулевой гипотезы Таким образом, нулевая гипотеза не подтвердилась и связь между рассматриваемыми величинами существует.

Проведем проверку значимости коэффициентов регрессии. Для использования формулы, справедливой только для линейных соотношений, проведем предварительную линеаризацию уравнения, в результате получим Применяя к этому линеаризованному соотношению формулу, получим

Находим табличное значение критерия СтьюдентаI. При вероятности 5 % и числе степеней свободы f=N-2=16 (число наблюдений минус число коэффициентов уравнения регрессии) t=2,12, а с вероятностью 2 % - t=2,567. Таким образом, полученные результаты свидетельствуют о том, что коэффициенты степенного уравнения регрессии a и b с вероятностью 95 % будут отличны от нуля

Полученная модель и при повышенном значении вероятности (98 %) сохраняет значимость коэффициентов регрессии и, следовательно, является более предпочтительной по сравнению с линейной.

Найдем оценку значимости уравнения регрессии с помощью критерия Фишера. С этой целью определим значение критерия для степеней свободы Таким образом, F расчетное F табл

Следовательно, гипотеза о значимости уравнения регрессии подтверждается, а это означает, что предсказательная сила среднего значения изучаемой величины ниже, чем у полученного уравнения регрессии

ПОСТРОЕНИЕ МНОЖЕСТВЕННОЙ КОРРЕЛЯЦИОННОЙ МОДЕЛИ Рассмотрим совокупное влияние на уровень производительности труда двух факторов: текучести рабочих кадров и уровня механизации строительно- монтажных работ.

Введем следующие обозначения: y - производительность труда на одного работающего, тыс. руб. / год; x 1 - текучесть рабочих кадров, % ; x 2 - уровень механизации строительно- монтажных работ, %. Исходные статистические данные приведены в таблице

п/пx1x2yx1*x1x2*x2y*yx1*yx2*yx1*x2 10,159510,30, ,091,545978,514,25 20,18979,60, ,161,728931,217,46 30,19948,60, ,961,634808,417,86 40,44614,70, ,092,068286,726,84 50,35606,30, ,692, ,28655,40, ,161, ,2 70,23576,50, ,251,495370,513,11 80,36585,10, ,011,836295,820,88 90,42606,20, ,442, ,2 100,26655,30, ,091,378344,516,9 110,23535,80, ,641,334307,412,19 120,376550, , ,05 130,57505,10, ,012, ,5 140,37554,30, ,491,591236,520,35 150,28554,60, ,161, ,4 160,24756,30, ,691,512472, ,28807,70, ,292, ,4 Сумма 5, , ,2230, ,59

С целью определения тесноты связи между изучаемыми явлениями и исключения мультиколлинеарности, находим коэффициенты парной корреляции и записываем их в виде матрицы

Анализируя тесноту связи между изучаемыми величинами, можно сделать вывод, что связь достаточно обусловлена, так как парные коэффициенты корреляции между результативной величиной y и факторными признаками равны -0,66 и 0,896 соответственно.

Парный коэффициент корреляции между факторными признаками равен -0,666, что ниже 0,85 и, следовательно, эти показатели можно включать в модель, так как принято считать, что явление мультколлинеарности в данном случае отсутствует, хотя этот вопрос и нуждается в дополнительном исследовании.

Как правило, парные коэффициенты проверяют на значимость с помощью нулевой гипотезы по критерию Стьюдента. Осуществив проверку нулевой гипотезы, приходим к выводу, что нулевая гипотеза не подтверждается для всех трех парных коэффициентов с вероятностью 90 % и даже 95 %. Это свидетельствует о том, что все коэффициенты значимы и рассматриваемые корреляционные связи существуют.

Отдельным вопросом стоит связь между факторными признаками, которая в данном случае достаточно высока, но все-таки меньше рекомендованного порога 0,85, так что включение этих факторов в целом будет обосновано. Будем аппроксимировать результативный признак в линейном виде, то есть уравнение регрессии примет вид: где a 0, a 1, a 2 - коэффициенты уравнения регрессии, определяемые по методу наименьших квадратов.

Система алгебраических уравнений для определения коэффициентов регрессии

Решая эту систему находим тогда уравнение регрессии запишется в виде Находим множественный коэффициент корреляции, получаем R=0,9.

Исследование модели