Метод наименьших квадратов УиА 15/2 Айтуар А.. В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей.

Презентация:



Advertisements
Похожие презентации
Метод наименьших квадратов В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей функции получили.
Advertisements

Лекция 6 Метод наименьших квадратов Уравнение парной регрессии.
Лекция 5 Метод максимального правдоподобия. ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения.
Лекция 7 Уравнение множественной регрессии Теорема Гаусса-Маркова Автор: Костюнин Владимир Ильич, доцент кафедры: «Математическое моделирование экономических.
Метод максимального правдоподобия ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения, которые.
Уравнение множественной регрессии y t = a 0 +a 1 x 1t +a 2 x 2t +a 3 x 3t +…+a k x kt +U t (8.1) Наилучшая линейная процедура получения оценок параметров.
ЛЕКЦИЯ 8 КОРРЕЛЯЦИОННО- РЕГРЕССИОННЫЙ АНАЛИЗ. МОДЕЛИРОВАНИЕ СВЯЗЕЙ.
Лекция 2 Часть I: Многомерное нормальное распределение, его свойства; условные распределения Часть II: Парная линейная регрессия, основные положения.
АНАЛИЗ ДАННЫХ НА КОМПЬЮТЕРЕ. Регрессионный анализ.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ. СТАТИСТИЧЕСКАЯ ОЦЕНКА.
Проверка качества спецификации модели. Качество спецификации модели Под качеством спецификации модели понимается: - качество выбора функции уравнения.
Линейная модель парной регрессии и корреляции. 2 Корреляция – это статистическая зависимость между случайными величинами, не имеющими строго функционального.
1. Постановка задачи аппроксимации 2. Метод наименьших квадратов 3. Линейная аппроксимация Лекция 8.
Регрессионный анализ. Основная особенность регрессионного анализа: при его помощи можно получить конкретные сведения о том, какую форму и характер имеет.
1 МНОЖЕСТВЕННЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ ПЛАТА ASVABC S 1 ПЛАТА = S + 3 ASVABC + u Геометрическая интерпретация множественной регрессионной модели с.
Количественные характеристики случайных переменных Математическое ожидание (среднее значение) Математическое ожидание (среднее значение) Дисперсия и среднее.
Теория статистики Корреляционно-регрессионный анализ: статистическое моделирование зависимостей Часть 1. 1.
P4P4 X X1X1 X2X2 X3X3 X4X4 Разница между действительным и оцененным значением Y называется остатком. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 ( остаток ) e1e1.
План лекции. 1.Метод наименьших квадратов. 2.Дифференциальные уравнения.
В задачу регрессионного анализа входит исследование остаточных величин. Исследование остаточных величин.
Транксрипт:

Метод наименьших квадратов УиА 15/2 Айтуар А.

В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей функции получили название регрессионного анализа Основными задачами регрессионного анализа являются установление зависимости между переменными и оценка (прогноз) значений зависимой переменной В экономических исследованиях часто заданному значению одной переменной может соответствовать множество значений другой переменной Другими словами, каждому значению одной переменной соответствует условное распределение другой переменной

Графическая иллюстрация сказанного: Y = X Y X3X3 X5X5 X4X4 X1X1 X2X2 Зависимость, при которой каждому значению одной переменной соответствует условное математическое ожидание другой называется регрессионной:

Начнем с построения модели в виде линейного уравнения парной регрессии (6.1) Постановка задачи Дано: Выборка наблюдений за поведением переменных y t и x t Найти: 1. Оценки значений параметров a 0 и a 1 2. Оценки точности σ(a 0 ) и σ(a 1 ). 3. Оценка рассеяния случайного возмущения σ u 4. Оценку точности прогнозирования σ(y(x 0 ))

Введем следующие обозначения и определения 1. Выборка 2. Система уравнений наблюдений (6.2) 3. В е к т о р а 4. Матрица коэффициентов при параметрах

Идея метода. Пусть имеем выборку из 4-х точек (n=4): P 1 =(x 1, y 1 ) P 2 =(x 2, y 2 ) P 3 =(x 3, y 3 ) P 4 =(x 4, y 4 ) P1P1 P2P2 P3P3 P4P4 Предполагаем, что существует теоретическая прямая, которая наилучшим образом проходит через них Задача: оценить с некоторой точностью, как может проходить эта прямая На практике мы имеем возможность наблюдать только исходные точки u4u4

Итак, оценки параметров модели парной регрессии согласно МНК будем искать из условия: (6.2) Условиями минимума функции являются равенство нулю первых производных и положительность вторых производных по ã 0 и ã 1 (6.3) Система (6.3) называется системой нормальных уравнений для вычисления оценок параметров уравнения парной регрессии (6.1)

Упростим систему нормальных уравнений (6.3) (6.4) Убеждаемся, что решение системы уравнений (6.4) будет соответствовать минимуму функции (6.1) Для этого вычисляем значения вторых частных производных функции (6.1) Вторые производные больше нуля – функция (6.1) принимает минимальное значение в точке ã 0, ã 1

(6.4) Для решения системы (6.4) выразим из первого уравнения ã 0, подставим его во второе уравнение (6.5) Решив второе уравнение системы (6.5) получим: (6.6)

Проанализируем выражение (6.6) Для этого вычислим COV(x,y) и σ 2 (x) (6.7)

Проверим выполнение условия несмещенности для оценки (6.7) Для этого вычислим числитель выражения (6.7) Подставив в (6.7) полученное выражение получим: (6.8) Математическое ожидание выражения (6.7) имеет вид: (6.9)

Вычислим дисперсии параметров уравнения регрессии и дисперсию прогнозирования эндогенной переменной 1. Дисперсия параметра ã 1 (6.10)

2. Дисперсия параметра ã 0 σ 2 (y) Определяется с помощью (6.10) В результате получаем:

Исходные предположения 1. Уравнение имеет вид: y t =a 0 + a 1 x t + u t 2. Случайное возмущение имеет нормальное распределение с параметрами 0 и σ u 3. Для получения ММП-оценок имеем выборку из n наблюдений Тогда: Закон распределения для случайного возмущения принимает вид:

1. Функция правдоподобия получит вид: 2. Логарифм функции правдоподобия

3. Составляем уравнения для вычисления оценок a 0 и a 1 Получили систему уравнений совпадающую с (6.3) Следовательно, и решения совпадут

Вывод С помощью метода наименьших квадратов получили 1. Оценки параметров уравнения регрессии, по крайней мере, состоятельными 2. Если случайное возмущение подчиняется нормальному закону распределения, то оценки параметров модели несмещенные и эффективные 3. Нет необходимости в знании закона распределения случайных возмущений

X-стаж работы сотрудника Y- часовая оплата труда Модель: Y=a 0 +aX t +U t Σ x i =210; Σ y i =146.42; Σ x i 2 =2870; Σ x i y i = XYUU2U2 σ(y) 1,01,912,17-0,260,071,20 2,02,762,720,040,001,19 3,02,673,26-0,590,351,17 4,04,033,800,230,051,16 5,04,124,34-0,220,051,15 6,02,814,88-2,074,301,15 7,06,535,421,111,221,14 8,06,245,970,270,071,14 9,09,036,512,526,361,13 10,06,877,05-0,180,031,13 11,09,097,591,502,241,13 12,07,088,13-1,051,111,13 13,07,798,68-0,890,781,14 14,08,759,22-0,470,221,14 15,011,199,761,432,051,15 16,010,1510,30-0,150,021,15 17,010,5210,84-0,320,101,16 18,010,8911,38-0,490,241,17 19,010,5911,93-1,341,781,19 20,013,4012,470,930,871,20 ΣU2ΣU2 21,93

Y= X Y+σ(Y) Y-σ(Y) Графическое отображение результатов

Заключение 1. Метод наименьших квадратов имеет следующие преимущества: - не требуется знания закона распределения случайного возмущения - дает оценки по крайней мере состоятельные - в случае нормального распределения случайного возмущения оценки параметров линейной модели несмещенные и эффективные 2. Для получения несмещенных и эффективных оценок параметров в случае, если случайное возмущение имеет закон распределения отличный от нормального, необходимо наложить на него дополнительные требования