ЛОГІТ ТА ПРОБІТ-МОДЕЛІ РЕГРЕСІЇ В ПРОГНОЗУВАННІ СЕП 1.Моделі дискретного вибору. 2.Логіт та пробіт-моделі регресії. 3.Особливості вирішення логіт та пробіт-моделей. - презентация

1 ЛОГІТ ТА ПРОБІТ-МОДЕЛІ РЕГРЕСІЇ В ПРОГНОЗУВАННІ СЕП 1.Моделі дискретного вибору. 2.Логіт та пробіт-моделі регресії. 3.Особливості вирішення логіт та пробіт-моделей в аналітичних пакетах.

2 Определение Модель дискретного выбора – модель регрессии, в которой зависимая переменная является дискретной.

3 Причины дискретности зависимой переменной: Целочисленность Качественная природа зависимой переменной Порядковая или ранговая переменная

4 Примеры моделей дискретного выбора Решение об участии на рынке труда Выбор вида транспорта Выдача кредитов Голосование...

5 Методы оценивания: Линейная вероятностная модель (linear probability model) Логит (logit) Пробит (probit) Множественный логит (multinomial logit) Упорядоченный логит (ordered logit) Модели с группировкой (nested logit)

6 Виды моделей дискретного выбора: Модели бинарного выбора Модели множественного выбора

7 Модели бинарного выбора Модель бинарного выбора – частный случай модели дискретного выбора, при котором зависимая переменная может принимать только два значения (1 или 0)

8 Модели множественного выбора Модель множественного выбора –модель дискретного выбора, при котором зависимая переменная может принимать более двух значений

9 Виды моделей множественного выбора Номинальные (важно только количество принимаемых значений, или состояний) – модели с неупорядоченными альтернативами Порядковые (важно ранжирование значений зависимой переменной) – модели с упорядоченными альтернативами

10 Модели с неупорядоченными альтернативами: Множественный логит и пробит Предположение о максимизации полезности, связанной с каждой из альтернатив Оценка при помощи метода максимального правдоподобия Использование моделей с группировкой при многошаговом процессе принятия решений

11 Модели с упорядоченными альтернативами: Проблематичность применения МНК из-за качественной природы зависимой переменной Упорядоченный логит и пробит

12

13 Прогнозная формула логистической регрессии = w 0 + w 1 x 1 + w 2 x 2 ^^^ ·· логит-баллы... ^ log p 1 – p () ^ логарифмической функции правдоподобия Выберите максимизирующие оценки константы и параметров для: log( p i ) + log(1 – p i ) обучающие наблюдения с первичным исходом ^ обучающие наблюдения со вторичным исходом ^

14 Связывающая функция - логит = w 0 + w 1 x 1 + w 2 x 2 ^^^ ··... связывающая функция (логит Логит-функция преобразует вероятность (между 0 и 1) в логит-баллы (между и +). ^ log p 1 – p () ^ логит-баллы

15 Связывающая функция - логит = w 0 + w 1 x 1 + w 2 x 2 ^^^ ··... ^ log p 1 – p () ^ e - logit( p ) p =p = ^ ^ ^ logit( p ) Для получения оценки прогноза логит-уравнение решается относительно p. ^ =

16 Связывающая функция - логит...

17 Пример использования регрессии Прогнозирование цвета точки по ее координатам x 1 и x 2. Необходимо вычислить значение константы и других параметров модели x1x x2x

18 Пример использования регрессии логарифмическая функция правдоподобия Поиск максимизирующих оценок параметров x1x x2x обучающие наблюдения с первичным исходом обучающие наблюдения со вторичным исходом

19 Выберите правильный ответ из списка Что будет значением прогноза для точки x1=0,3 x2=0,7? a b.0.56 c.желтая d.Ответ зависит от … x1x x2x

20 Правильный ответ Что будет значением прогноза для точки x1=0,3 x2=0,7? a b.0.56 c.Желтая d.Ответ зависит от … x1x x2x

21 Особенности модели LOGIT P [0, 1], L (-, +) L линейна по переменным, вероятности – нет Интерпретация параметров: при изменении фактора j на 1 ед. логарифм относительного числа шансов в пользу события Y=1 к числу шансов против события Y=1 изменится в среднем на b j единиц при условии, что все остальные факторы модели зафиксированы Возможность перехода к оценкам вероятности

22 Оценка параметров модели LOGIT Метод максимального правдоподобия для:

23 Модель PROBIT Функция, характеризующая искомую вероятность, определяется как кумулятивная функция нормального распределения: где z = a+b 1 X 1 +…+b k X k +u

24 ВАЖНО! Оценки коэффициентов моделей логит и пробит НЕЛЬЗЯ интерпретировать как показатели силы связи из-за нелинейности по параметрам. Однако от этих оценок можно легко перейти к относительным показателям силы связи для отдельных факторов, включенных в модель.

25 Сравнение моделей LOGIT и PROBIT Индивидуальный выбор исследователя Разница в «крутизне» функции распределения Аналогичные результаты для выборок с небольшим разбросом объясняющих переменных

26 Высшая школа экономики, Москва, 2012 фото 1. Необходимый большой размер выборки (>500) 2. Проблемы мультиколлинеарности 3. Минимум 10 исходов на каждую независимую переменную Logit и probit модели: преимущества и недостатки 1. Дает статистически надежные результаты: исправляет недостатки линейной модели 2. Результаты легко интерпретируются 3. Сравнительно несложный метод анализа. Преимущества Недостатки

27 Высшая школа экономики, Москва, 2012 фото Сравнение использования logit и probit моделей Качественно, logit и probit модели дают примерно одинаковые результаты

28 Оценка качества моделей: Псевдо коэффициент детерминации: Индекс отношения правдоподобия: Проверка гипотез на основе теста правдоподобия:

29 29

30 Регрессия: обзор возможных проблем Работа с пропущенными значениями Интерпретация модели Работа с нелинейностью Настройка экстремальных и нетипичных значений Использование не численных входных переменных...

31 Обзор инструментов для регрессии Заменяет пропущенные значения для интервальных (средним) и категориальных данных (модой). Создает уникальный индикатор замены. Создает модели линейной и логистической регрессии. Выбирает входные переменные с помощью метода последовательного выбора и соответствующей статистики подгонки. Интерпретирует модели с помощью коэффициентов вероятностей. Регуляризирует распределения входных переменных. Обычно применяются логарифмические преобразования, управляющие асимметрией входных переменных. продолжение...

32 Объединяет уровни категориальной входной переменной с использованием окна Term Editor. Добавляет члены полиномиальной регрессии либо вручную, либо с помощью автономного поиска методом полного перебора. Обзор инструментов для регрессии

33 Коэффициент вероятности и удваивающийся коэффициент первичного исхода Коэффициент вероятности : Увеличение значения вероятности первичного исхода связанное с изменением входной переменной на единицу измерения. Удваивающийся коэффициент : Входная переменная изменяется на 0,69/wi при удвоении вероятности первичного исхода. 1 отнош. exp( w i ) отнош w i Δx i результат... = w 0 + w 1 x 1 + w 2 x 2 ^^^ ·· ^ log p 1 – p () ^ Логит-баллы

34 34

35 35