ЛОГІТ ТА ПРОБІТ-МОДЕЛІ РЕГРЕСІЇ В ПРОГНОЗУВАННІ СЕП 1.Моделі дискретного вибору. 2.Логіт та пробіт-моделі регресії. 3.Особливості вирішення логіт та пробіт-моделей в аналітичних пакетах.

Определение Модель дискретного выбора – модель регрессии, в которой зависимая переменная является дискретной.

Причины дискретности зависимой переменной: Целочисленность Качественная природа зависимой переменной Порядковая или ранговая переменная

Примеры моделей дискретного выбора Решение об участии на рынке труда Выбор вида транспорта Выдача кредитов Голосование...

Методы оценивания: Линейная вероятностная модель (linear probability model) Логит (logit) Пробит (probit) Множественный логит (multinomial logit) Упорядоченный логит (ordered logit) Модели с группировкой (nested logit)

Виды моделей дискретного выбора: Модели бинарного выбора Модели множественного выбора

Модели бинарного выбора Модель бинарного выбора – частный случай модели дискретного выбора, при котором зависимая переменная может принимать только два значения (1 или 0)

Модели множественного выбора Модель множественного выбора –модель дискретного выбора, при котором зависимая переменная может принимать более двух значений

Виды моделей множественного выбора Номинальные (важно только количество принимаемых значений, или состояний) – модели с неупорядоченными альтернативами Порядковые (важно ранжирование значений зависимой переменной) – модели с упорядоченными альтернативами

Модели с неупорядоченными альтернативами: Множественный логит и пробит Предположение о максимизации полезности, связанной с каждой из альтернатив Оценка при помощи метода максимального правдоподобия Использование моделей с группировкой при многошаговом процессе принятия решений

Модели с упорядоченными альтернативами: Проблематичность применения МНК из-за качественной природы зависимой переменной Упорядоченный логит и пробит

Прогнозная формула логистической регрессии = w 0 + w 1 x 1 + w 2 x 2 ^^^ ·· логит-баллы... ^ log p 1 – p () ^ логарифмической функции правдоподобия Выберите максимизирующие оценки константы и параметров для: log( p i ) + log(1 – p i ) обучающие наблюдения с первичным исходом ^ обучающие наблюдения со вторичным исходом ^

Связывающая функция - логит = w 0 + w 1 x 1 + w 2 x 2 ^^^ ··... связывающая функция (логит Логит-функция преобразует вероятность (между 0 и 1) в логит-баллы (между и +). ^ log p 1 – p () ^ логит-баллы

Связывающая функция - логит = w 0 + w 1 x 1 + w 2 x 2 ^^^ ··... ^ log p 1 – p () ^ e - logit( p ) p =p = ^ ^ ^ logit( p ) Для получения оценки прогноза логит-уравнение решается относительно p. ^ =

Связывающая функция - логит...

Пример использования регрессии Прогнозирование цвета точки по ее координатам x 1 и x 2. Необходимо вычислить значение константы и других параметров модели x1x x2x

Пример использования регрессии логарифмическая функция правдоподобия Поиск максимизирующих оценок параметров x1x x2x обучающие наблюдения с первичным исходом обучающие наблюдения со вторичным исходом

Выберите правильный ответ из списка Что будет значением прогноза для точки x1=0,3 x2=0,7? a b.0.56 c.желтая d.Ответ зависит от … x1x x2x

Правильный ответ Что будет значением прогноза для точки x1=0,3 x2=0,7? a b.0.56 c.Желтая d.Ответ зависит от … x1x x2x

Особенности модели LOGIT P [0, 1], L (-, +) L линейна по переменным, вероятности – нет Интерпретация параметров: при изменении фактора j на 1 ед. логарифм относительного числа шансов в пользу события Y=1 к числу шансов против события Y=1 изменится в среднем на b j единиц при условии, что все остальные факторы модели зафиксированы Возможность перехода к оценкам вероятности

Оценка параметров модели LOGIT Метод максимального правдоподобия для:

Модель PROBIT Функция, характеризующая искомую вероятность, определяется как кумулятивная функция нормального распределения: где z = a+b 1 X 1 +…+b k X k +u

ВАЖНО! Оценки коэффициентов моделей логит и пробит НЕЛЬЗЯ интерпретировать как показатели силы связи из-за нелинейности по параметрам. Однако от этих оценок можно легко перейти к относительным показателям силы связи для отдельных факторов, включенных в модель.

Сравнение моделей LOGIT и PROBIT Индивидуальный выбор исследователя Разница в «крутизне» функции распределения Аналогичные результаты для выборок с небольшим разбросом объясняющих переменных

Высшая школа экономики, Москва, 2012 фото 1. Необходимый большой размер выборки (>500) 2. Проблемы мультиколлинеарности 3. Минимум 10 исходов на каждую независимую переменную Logit и probit модели: преимущества и недостатки 1. Дает статистически надежные результаты: исправляет недостатки линейной модели 2. Результаты легко интерпретируются 3. Сравнительно несложный метод анализа. Преимущества Недостатки

Высшая школа экономики, Москва, 2012 фото Сравнение использования logit и probit моделей Качественно, logit и probit модели дают примерно одинаковые результаты

Оценка качества моделей: Псевдо коэффициент детерминации: Индекс отношения правдоподобия: Проверка гипотез на основе теста правдоподобия:

29

Регрессия: обзор возможных проблем Работа с пропущенными значениями Интерпретация модели Работа с нелинейностью Настройка экстремальных и нетипичных значений Использование не численных входных переменных...

Обзор инструментов для регрессии Заменяет пропущенные значения для интервальных (средним) и категориальных данных (модой). Создает уникальный индикатор замены. Создает модели линейной и логистической регрессии. Выбирает входные переменные с помощью метода последовательного выбора и соответствующей статистики подгонки. Интерпретирует модели с помощью коэффициентов вероятностей. Регуляризирует распределения входных переменных. Обычно применяются логарифмические преобразования, управляющие асимметрией входных переменных. продолжение...

Объединяет уровни категориальной входной переменной с использованием окна Term Editor. Добавляет члены полиномиальной регрессии либо вручную, либо с помощью автономного поиска методом полного перебора. Обзор инструментов для регрессии

Коэффициент вероятности и удваивающийся коэффициент первичного исхода Коэффициент вероятности : Увеличение значения вероятности первичного исхода связанное с изменением входной переменной на единицу измерения. Удваивающийся коэффициент : Входная переменная изменяется на 0,69/wi при удвоении вероятности первичного исхода. 1 отнош. exp( w i ) отнош w i Δx i результат... = w 0 + w 1 x 1 + w 2 x 2 ^^^ ·· ^ log p 1 – p () ^ Логит-баллы

34

35