Метод наименьших квадратов В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей функции получили название регрессионного анализа. Основными задачами регрессионного анализа являются установление зависимости между переменными и оценка (прогноз) значений зависимой переменной. В экономических исследованиях часто заданному значению одной переменной может соответствовать множество значений другой переменной. Другими словами, каждому значению одной переменной соответствует условное распределение другой переменной. Зависимость, при которой каждому значению одной переменной соответствует условное математическое ожидание другой называется регрессионной: M(Y|X) = f(X) M(Y|X) = f(X)

Метод наименьших квадратов. Уравнение парной регрессии. Уравнение парной регрессии. y t = a 0 + a 1 x t + u t (7.1) Постановка задачи. Дано: выборка наблюдений за поведением переменных y t и x t. Найти: 1. Оценки значений параметров a 0 и a Оценки точности σ(a 0 ) и σ(a 1 ). 3. Оценка рассеяния случайного возмущения σ u. 4. Оценку точности прогнозирования σ(y(x0)). Выборка: y 1 x 1 y 2 x 2 ………. y n x n Принятые обозначения: Система уравнений наблюдений. y 1 = a 0 + a 1 x 1 + u 1 y t = a 0 + a 1 x 2 + u 2 …………………… y n = a 0 + a 1 x n + u n

Метод наименьших квадратов Идея метода. Пусть имеем выборку из 4-х точек (n=4): P 1 =(x 1, y 1 ) P 2 =(x 2, y 2 ) P 3 =(x 3, y 3 ) P 4 =(x 4, y 4 ) P1P1 P2P2 P3P3 P4P4 На практике мы имеем возможность наблюдать только исходные точки. Предполагаем, что существует теоретическая прямая, которая наилучшим образом проходит через них. Задача: оценить с некоторой точностью, как может проходить эта прямая.

Метод наименьших квадратов P4P4 Q4Q4 u4u4 ã0ã0 Y Y X X1X1 X2X2 X3X3 X4X4 Любое значение Y можно представить в виде суммы неслучайной величины a 0 +a 1 x и случайной величины u. Идея метода заключается в том, чтобы найти такие значения параметров, которые обеспечат минимум суммы квадратов случайных отклонений. a0a0

Реализация метода наименьших квадратов Итак, оценки параметров модели парной регрессии согласно МНК будем искать из условия: S=Σu i 2 =Σ(y i -ã 0 +ã 1 x i ) 2 =min Условиями минимума функции являются равенство нулю первых производных и положительность вторых производных по ã 0 и ã 1. при этом: (7.2) Система уравнений (7.2) называется системой нормальных уравнений для вычисления оценок параметров модели (7.1)

Реализация метода наименьших квадратов Упростим систему нормальных уравнений (7.2) (7.3) Для решения системы (7.3) выразим из первого уравнения ã0, подставим его во второе уравнение.

Реализация метода наименьших квадратов Вычислив с помощью (7.5) оценку ã 1, с помощью выражения (7.4) получим значение оценки параметра ã 0. Тогда выражение (7.5) можно записать в виде: ( 7.6)

Реализация метода наименьших квадратов Вопрос. Как связано полученное решение со случайными возмущениями? Подставляя (7.7) в (7.6) получим выражение : (7.7) Условие несмещенности оценки параметра ã 1

Характеристики точности уравнения парной регрессии Вычислим дисперсии параметров уравнения регрессии и дисперсию прогнозирования эндогенной переменной. 1. Дисперсия параметра ã 1 ( 7.8)

Характеристики точности уравнения парной регрессии Дисперсия параметра ã 0 Дисперсия σ 2 (ã 1 ) известна (7.8), необходимо вычислить дисперсию y. ( 7.9) В результате получаем: (7.10)

Характеристики точности уравнения парной регрессии Дисперсия прогноза эндогенной переменной. Ковариации между случайными возмущениями и оценками параметров равны нулю, т.к. эти переменные независимые. Подставляя в (7.11) (7.10), (7,8) и (7,12), получаем: (7.11) (7.12) (7.13)

Пример применения МНК X-стаж работы сотрудника; Y- часовая оплата труда. Модель: Y t =a 0 +a 1 X t +U t Σx i =210; Σy i =146.42; Σx i 2 =2870; Σx i y i =

Пример применения МНК Графическое отображение результатов Y= X Y-σ(Y) Y+σ(Y)