1 НЕЛИНЕЙНАЯ РЕГРЕССИЯ Принцип минимизации суммы квадратов отклонений. Эта процедура состоит из последовательности шагов: 1.Принимаются некоторые правдоподобные исходные значения параметров. 2. Вычисляются предсказанные значения Y по фактическим значениям Х с использованием этих значений параметров. 3. Вычисляются остатки для всех наблюдений в выборке и, следовательно, RSS, т. е. сумма квадратов остатков.

2 4. Вносятся небольшие изменения в одну или более оценок параметров. 5. Вычисляются новые предсказанные значения Y, остатки и RSS. 6. Если RSS меньше, чем прежде, то новые оценки параметров лучше прежних и их следует использовать в качестве новой отправной точки. Принцип минимизации суммы квадратов отклонений

3 7. Шаги 4, 5 и 6 повторяются вновь до тех пор, пока не окажется невозможным внести такие изменения в оценки параметров, которые привели бы к уменьшению RSS. 8. Делается вывод о том, что величина RSS минимизирована и конечные оценки параметров являются оценками по методу наименьших квадратов. Принцип минимизации суммы квадратов отклонений

4 бананы доход (фунтов) ($10,000) хозяйства Y X Z

5 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Численные методы поиска регрессионных коэффициентов для нелинеаризуемых задач на примере модели потребления бананов. Метод нелинейной оптимизации. X Y

6 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Предположим нам известно, что 1 = 12. Поиск 2 на основе критерия минимизации суммы квадратов остатков. Предположим, что 2 = 6. Y X

7 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Строим модели и ищем сумму квадратов остатков. Y X

8 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Строим модели и ищем сумму квадратов остатков. Y X

9 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ RSS=29,17. b 2 = -6 b 2 = -7 X Y Y e e Total29.17 ^

10 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Повторим процедуру, модифицировав значение коэффициента на -7. Y X

11 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ На графике видно, что это приближение лучше. Y X

12 b 2 = -6 b 2 = -7 X Y Y e e 2 Y e e Total НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Вычисленное значение RSS свидетельствует о том же. ^^

13 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Повторяя процедуру далее можно увидеть, что оптимальное решение лежит между -10 и -11. b 2 RSS

14 НЕЛИНЕЙНАЯ РЕГРЕССИЯ: ЧИСЛЕННЫЕ МЕТОДЫ Уменьшая интервал и шаг можно получить новое приближение на интервале и С точностью до 0,01 получаем приближение 10,08. Повторяя эту же процедуру по двум параметрам можно получить решение с заданной точностью. b 2 RSS

15 ТЕСТЫ КОКСА-БОКСА Проблема сравнения качества альтернативных регрессионных моделей. Когда альтернативные регрессионные модели имеют одинаковые переменные, то лучшая выбирается по критерию максимума R 2. Что делать, когда переменные различны, как например в линейной и логарифмической моделях.

16 ТЕСТЫ КОКСА-БОКСА Среднее арифметическое логарифма Y сводится к среднему геометрическому Y. Среднее в одной модели связано со средним в другой. Усреднение позволяет сравнивать модели между собой по остаткам.

17 ТЕСТЫ КОКСА-БОКСА Нормировка значений зависимых переменных в полулогарифмической модели по Методу Зарембки.

18 ТЕСТЫ КОКСА-БОКСА Сравнение нормированных моделей Y* and log e Y по среднеквадратичным отклонениям (RSS). Логарифм отношения остатков имеет χ 2 -распределение. Если χ>χ 2 – критическое при заданном пороге вероятности, то модель с меньшим RSS будет лучше.

19. sum LGEARN Variable | Obs Mean Std. Dev. Min Max LGEARN | EARNSTAR=EARNINGS/exp( ) LGEARNST=ln(EARNSTAR) ТЕСТЫ КОКСА-БОКСА Найдем среднее для LGEARN и обозначим LGEARNST=ln( EARNSTAR ).

20. reg EARNSTAR S Source | SS df MS Number of obs = F( 1, 568) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = EARNSTAR | Coef. Std. Err. t P>|t| [95% Conf. Interval] S | _cons | ТЕСТЫ КОКСА-БОКСА Найдем регрессионную зависимость нормированного значения EARNSTAR от S и определим RSS.

21. reg LGEARNST S Source | SS df MS Number of obs = F( 1, 568) = Model | Prob > F = Residual | R-squared = Adj R-squared = Total | Root MSE = LGEARNST | Coef. Std. Err. t P>|t| [95% Conf. Interval] S | _cons | ТЕСТЫ КОКСА-БОКСА То же сделаем для нормированной переменной LGEARNST.

22 ТЕСТЫ КОКСА-БОКСА Значение статистики Оно существенно выше 2 с 1 степенью свободы на 0.1% уровне, исходя из чего можно утверждать о значимости предпочтения полулогарифмической модели линейной.