1 Линейные модели по переменным и параметрам: НЕЛИНЕЙНЫЕ МОДЕЛИ Линейные модели и по переменным и по параметрам. Способы сведения нелинейных моделей к. - презентация

1 1 Линейные модели по переменным и параметрам: НЕЛИНЕЙНЫЕ МОДЕЛИ Линейные модели и по переменным и по параметрам. Способы сведения нелинейных моделей к линейным.

2 2 Модели линейные по переменным и параметрам: Модели линейные по параметрам и нелинейные по переменным: НЕЛИНЕЙНЫЕ МОДЕЛИ Модели нелинейные по переменным. Замена переменных приводит к модели линейной и по параметрам и по переменным.

3 3 Модели линейные по переменным и параметрам : Модели линейные по параметрам и нелинейные по переменным : Модели нелинейные по параметрам: ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Некоторые модели нелинейные по параметрам могут быть линеаризованы.

4 4 бананы доход (фунт) ($10,000) хозяйство Y X ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Пример: зависимость потребления бананов от дохода для 10 хозяйств.

5 5 ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Точечная диаграмма. X Y

6 6. reg Y X Source | SS df MS Number of obs = F( 1, 8) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = Y | Coef. Std. Err. t P>|t| [95% Conf. Interval] X | _cons | ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Построение регрессионной модели. Коэффициент при X значим, коэффициент детерминации R 2 высок. Хорошая ли это модель? Y=4,6+0,84*X

7 7 ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Поведение отклонений от линии регрессии не похожа на случайную величину, что свидетельствует о некорректности модели. X Y

8 8 Измененная модель: ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Обратно пропорциональная модель. Y увеличивается вместе с X если 2 < 0. Функция имеет верхним пределом 1. Невозможно питаться одними бананами. Модель линеаризуется заменой переменных

9 9 бананы доход (фунтов) ($10,000) хозяйства Y X Z ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ.

10 10 ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Зависимость Y от Z. Y Z

11 11. g Z=1/X. reg Y Z Source | SS df MS Number of obs = F( 1, 8) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = Y | Coef. Std. Err. t P>|t| [95% Conf. Interval] Z | _cons | ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ Вычисление регрессионных коэффициентов регрессионной модели. Высокая объяснительная способность модели.

12 12 ЛИНЕАРИЗАЦИЯ МОДЕЛЕЙ График зависимости Y от Z. Z Y

13 13 НЕЛИНЕЙНЫЕ МОДЕЛИ График зависимости Y от Z показывает лучшую зависимость и большую случайность отклонений. X Y

14 14 ЭластичностьY по X есть пропорциональное изменение Y относительно пропорционального изменения X: ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Y Эластичность в любой точке – это отношение тангенса угла наклона касательной к тангенсу угла наклона радиус вектора. Значение эластичности для данного рисунка < 1. X A O

15 15 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Пример функции с эластичность > 1. A O Y X

16 16 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Эластичность для прямой непостоянна. xO A Y X

17 17 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Функция с одинаковой эластичностью для всех X..

18 18 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Пример функции с эластичностью Y X

19 19 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Y X

20 20 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ 2 = 1, прямая линия. Линейная модель может быть частным случаем модели с постоянной эластичностью Y X

21 21 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ. Y X

22 22 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Линеаризация модели.

23 23 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Точечная диаграмма зависимости FDHO, трат на еду дома, от EXP, общего годового дохода. (в $, 1995г. для 869 хозяйств США). FDHO EXP

24 24. reg FDHO EXP Source | SS df MS Number of obs = F( 1, 867) = Model | Prob > F = Residual | e R-squared = Adj R-squared = Total | e Root MSE = FDHO | Coef. Std. Err. t P>|t| [95% Conf. Interval] EXP | _cons | ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Построение регрессии FDHO от EXP. На еду тратится около 5% годового дохода. Константа смысла не имеет. FDHO=1916,1+0,05*EXP

25 25 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Регрессионная линия. EXP FDHO

26 26 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Подбор логарифмической модели. Точечная диаграмма логарифма FDHO в зависимости от логарифма EXP. LGFDHO LGEXP

27 27. g LGFDHO = ln(FDHO). g LGEXP = ln(EXP). reg LGFDHO LGEXP Source | SS df MS Number of obs = F( 1, 866) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = LGFDHO | Coef. Std. Err. t P>|t| [95% Conf. Interval] LGEXP | _cons | ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Регресссионная логарифмическая модель LGFDHO от LGEXP.

28 28. g LGFDHO = ln(FDHO). g LGEXP = ln(EXP). reg LGFDHO LGEXP Source | SS df MS Number of obs = F( 1, 866) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = LGFDHO | Coef. Std. Err. t P>|t| [95% Conf. Interval] LGEXP | _cons | ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Коэффициент эластичности 0.48.Является ли он правдоподобным? Поскольку еда – предмет первой необходимости, то коэффициент эластичности функции спроса должен быть меньше 1. Расходы на еду растут медленнее, чем рост дохода. ( e 3.17 = 23.8)

29 29 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Точечная диаграмма и логарифмическая модель. LGFDHO LGEXP

30 30 ЭЛАСТИЧНОСТЬ И ЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Сравнение линейной и логарифмической модели. В середине близки, а по краям сильное расхождение. В нуле значение равно нулю, что соответствует здравому смыслу. Для больших доходов доля, расходуемая на продовольствие должна падать. EXP FDHO

31 31 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Относительное изменение Y в расчете на единицу абсолютного изменения X равны 2.

32 32 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Оценка зависимости ПЛАТЫ (Earnings) от продолжительности обучения (S).

33 33 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Интерпретация 2.. Если 2 мало (

34 34 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ 1 - это значение Y при X =0

35 35 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Линеаризация модели.

36 36. reg LGEARN S Source | SS df MS Number of obs = F( 1, 568) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = LGEARN | Coef. Std. Err. t P>|t| [95% Conf. Interval] S | _cons | Регрессионная полулогарифмическая модель. ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ LNEARN = 1,36+0,079*S EARN = e 1,36 e 0,079*S

37 37 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Приблизительная оценка. β 2 = 0.079, то есть каждый год обучения приблизительно ведет к увеличению зарплаты на 7.9%. Более точная оценка дает значение e 0,079 = 1,082, то есть увеличение на 8.2%.

38 38. reg LGEARN S Source | SS df MS Number of obs = F( 1, 568) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = LGEARN | Coef. Std. Err. t P>|t| [95% Conf. Interval] S | _cons | log 1 =1,36. Отсюда 1 = e 1.36 = Буквально, человек без образования получает 3,9$ в час. Но такая интерпретация не вполне правомочна, поскольку это значение находится за пределами интервала значений выборки. ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ

39 39 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Точечная диаграмма значений и полулогарифмическая модель.

40 40 ПОЛУЛОГАРИФМИЧЕСКИЕ МОДЕЛИ Сравнение полулогарифмической модели с линейной моделью. Полулогарифмическая модель предпочтительнее, так как более точно предсказывает плату для высоких и низких уровней обучения. Нет отрицательных значений константы.

41 41 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ При линеаризации не учитывался случайный член. В ряде нелинейных моделей случайный член аддитивен. То же возмущение будет и для преобразованного уравнения.

42 42 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ С логарифмическими моделями дело обстоит сложнее. В них после линеаризации добавляется мультипликативный член v = e u. Положительные значения u приводят к увеличению значения Y, отрицательные – к уменьшению.

43 43 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ v f(v)f(v) Кроме условий Гаусса-Маркова, необходимо, чтобы величина u была нормально распределена. Иначе невозможно использовать t и F тесты. Нормальное распределение показывает, что случайное возмущение – это сумма многих малых неучтенных возмущений.

44 44 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ v f(v)f(v) Нормальное возмущение u будет в том случае, если v имеет логнормальное распределение, плотность которого приведена на графике. Его среднее равно v =1, тогда u = 0.

45 45 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ Такое же мультипликативное распределение характерно и для полулогарифмических моделей. v f(v)f(v)

46 46 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ Точечная диаграмма для регрессионной модели зависимости выплат от обучения. Можно видеть несколько точек существенно отклоняющихся от регрессионной прямой.

47 47 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ Такая же диаграмма для полулогарифмической модели демонстрирует отсутствие резкого отклонения от модели.

48 48 ВОЗМУЩЕНИЕ В НЕЛИНЕЙНЫХ МОДЕЛЯХ Сравнение нормированных гистограмм распределений случайных остатков для линейной и полулогарифмической моделей. Нормировка – приведение стандартных отклонений к 1 для сравнения. Для обеих моделей распределение близко к нормальному, но для полулогарифмической модели оно более симметрично.

49 49 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Численные методы поиска регрессионных коэффициентов для нелинеаризуемых задач на примере модели потребления бананов. Метод нелинейной оптимизации. X Y

50 50 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Предположим нам известно, что 1 = 12. Поиск 2 на основе критерия минимизации суммы квадратов остатков. Предположим, что 2 = 6. Y X

51 51 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Строим модели и ищем сумму квадратов остатков. Y X

52 52 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Строим модели и ищем сумму квадратов остатков. Y X

53 53 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ RSS=29,17. b 2 = -6 b 2 = -7 X Y Y e e Total29.17 ^

54 54 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Повторим процедуру, модифицировав значение коэффициента на -7. Y X

55 55 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ На графике видно, что это приближение лучше. Y X

56 56 b 2 = -6 b 2 = -7 X Y Y e e 2 Y e e Total НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Вычисленное значение RSS свидетельствует о том же. ^^

57 57 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Повторяя процедуру далее можно увидеть, что оптимальное решение лежит между -10 и -11. b 2 RSS

58 58 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Уменьшая интервал и шаг можно получить новое приближение на интервале и С точностью до 0,01 получаем приближение 10,08. Повторяя эту же процедуру по двум параметрам можно получить решение с заданной точностью. b 2 RSS

59 59 ТЕСТЫ КОКСА-БОКСА Проблема сравнения качества альтернативных регрессионных моделей. Когда альтернативные регрессионные модели имеют одинаковые переменные, то лучшая выбирается по критерию максимума R 2. Что делать, когда переменные различны, как например в линейной и логарифмической моделях.

60 60 ТЕСТЫ КОКСА-БОКСА Среднее арифметическое логарифма Y сводится к среднему геометрическому Y. Среднее в одной модели связано со средним в другой. Усреднение позволяет сравнивать модели между собой по остаткам.

61 61 ТЕСТЫ КОКСА-БОКСА Нормировка значений зависимых переменных в полулогарифмической модели по методу Зарембки.

62 62 ТЕСТЫ КОКСА-БОКСА Сравнение нормированных моделей Y* and log e Y по среднеквадратичным отклонениям (RSS). Логарифм отношения остатков имеет χ 2 - распределение. Если χ>χ 2 – критическое при заданном пороге вероятности, то модель с меньшим RSS будет лучше.

63 63. sum LGEARN Variable | Obs Mean Std. Dev. Min Max LGEARN | EARNSTAR=EARNINGS/exp( ) LGEARNST=ln(EARNSTAR) ТЕСТЫ КОКСА-БОКСА Найдем среднее для LGEARN и обозначим LGEARNST=ln( EARNSTAR).

64 64. reg EARNSTAR S Source | SS df MS Number of obs = F( 1, 568) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = EARNSTAR | Coef. Std. Err. t P>|t| [95% Conf. Interval] S | _cons | ТЕСТЫ КОКСА-БОКСА Найдем регрессионную зависимость нормированного значения EARNSTAR от S и определим RSS.

65 65. reg LGEARNST S Source | SS df MS Number of obs = F( 1, 568) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = LGEARNST | Coef. Std. Err. t P>|t| [95% Conf. Interval] S | _cons | ТЕСТЫ КОКСА-БОКСА То же сделаем для нормированной переменной LGEARNST.

66 66 ТЕСТЫ КОКСА-БОКСА Значение статистики Оно существенно выше 2 с 1 степенью свободы на 0.1% уровне, исходя из чего можно утверждать о значимости предпочтения полулогарифмической модели линейной.