Logit & probit модели Чеботарь Полина Мартьянова Елизавета

Содержание Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения Введение Логит - модель Пробит - модель

Модели двоичного выбора Примеры Типы Метод оценки Функция вероятности события Часто интересны факторы, определяющие подобные ситуации: Почему одни люди поступают в вузы, а другие – нет? Почему одни люди меняют место жительства, а другие – нет? И т.п. (ответ можно закодировать как «нет» = 0, «да» = 1) Линейная модель Логит-модель Пробит-модель Тобит-модель Метод максимального правдоподобия МНК (только для линейной модели) Линейная модель Логит-модель Пробит-модель Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения, Y – зависимая переменная, принимающая значения 1 и 0

Содержание Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения Введение Логит - модель Пробит - модель

Логит-модель. Области применения Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения В 1950-х зарождалась в работах разных авторов, в нынешнем виде сформулирована в середине 1960х (D.R. Cox Some procedures associated with the logistic qualitative response curve). Используется: Медицина (определение вероятности успешного лечения и т.п.) Социология Маркетинговые исследования (предсказание склонности к покупке) Задачи классификации (скоринг в банках, маркетинг и пр.) Историческая справка:

Логит-модель. Математический смысл Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения Вероятность события определяется функцией:, где Z: - Линейная комбинация независимых факторов Исправление недостатка линейной модели, в которой вероятность могла получаться больше 1 (что логически неверно): Z бесконечность, 0, вероятность ограничена сверху 1 Z - бесконечность, бесконечность, вероятность ограничена снизу 0 Предельное воздействие вел-ны Z на вероятность есть производная функции вероятности: Эффект максимален

Логит-модель. Этапы оценки. Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения 1)Определение зависимой переменной и факторов 2)Построение переменной Z, как линейной комбинации независимых переменных 3)Построение уравнения для искомой вероятности события и нахождение производных (для оценки кумулятивного и предельного воздействия факторов) 4)Проведение вычислений с помощью программы (используется метод максимального правдоподобия) 5)Интерпретация результатов 6)Качество оценивания

Пример. Окончание средней школы (1) Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения GRAD ASVABC ПеременнаяОписание Зависимая переменная 1- если индивид окончил школу, 0 – в противном случае Независимая переменная Совокупный результат тестирования познавательных способностей SM SF MALE Независимая переменная Число лет обучения матери респондента Независимая переменная Число лет обучения отца респондента Независимая переменная, фиктивная переменная Пол, 1=мужской, 0=женский 1) 2)

Пример. Окончание средней школы (2) (Подставляется полученное выражение для Z) 3) 4)4) Таблица оцененных коэффициентов. Далее для оценки кумулятивного и предельного эффектов необходимо произвести дальнейшие расчеты, подставив полученные коэффициенты в формулы.

Пример. Окончание средней школы (3) Пример нахождения выражения предельного эффекта для одной из переменных Столбец предельных эффектов

Пример. Окончание средней школы (4) 5) Увеличение ASVABC на один балл увеличивает вероятность успешного окончания школы на 0,4 процентных пункта. Аналогично, влияет принадлежность к мужскому полу. Образование родителей влияет незначительно Кроме того, на 10% уровне значимости значим только коэффициент при переменной ASVABC

Пример. Окончание средней школы (4) 6) Для метода максимального правдоподобия нет коэффициента, аналогичного R-square, поэтому используются следующие способы: -Число правильно предсказанных исходов, если в наблюдении i, считать предсказанием 1 при p(i)>0,5, 0 – в противном случае -Сумма квадратов отклонений -Коэффициент корреляции между исходными и предсказанными значениями Кроме того, значимость отдельных коэффициентов по-прежнему можно оценить с помощью t-статистики (или z-статистики для больших выборок).

Содержание Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения Введение Логит - модель Пробит - модель

Пробит-модель. Обзор 1935 год – Chester Bliss «THE CALCULATION OF THE DOSAGE- MORTALITY CURVE», Annals of Applied Biology 1)1934 год - Chester Bliss «The method of probits», Science 2) David John Finney «Probit Analysis», Cambridge University Press Сферы использования Медицина Социология Маркетинг Любые статистические исследования

Пробит-модель. Математическая составляющая 1(2) Пробит-модель – альтернативная модель двоичного выбора Для пробит-анализа используется стандартное нормальное распределение для моделирования зависимости F(Z) - функция вероятности зависит от переменной Z, которая в свою очередь зависит от выбранных факторов

Пробит-модель. Математическая составляющая 2(2) Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения Для оценки параметров, как и в логит-модели, используется метод максимального правдоподобия Предельный эффект переменной Xi - равен производной функции вероятности по этой переменной Так как f(Z) – производная функции (функция плотности) стандартного нормального распределения F(Z), то она выглядит следующим образом

Пробит-модель Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения Расчет общей статистики предельного эффекта: 1.Рассчитать значение Z для средних значений объясняющих переменных 2.Рассчитывается f(Z) по формуле 3.Рассчитывается предельный эффект Xi равный f(z)bi

Пробит-модель. Применение 1(3) Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения GRAD ASVABC ПеременнаяОписание Зависимая переменная 1- если индивид окончил школу, 0 – в противном случае Независимая переменная Совокупный результат тестирования познавательных способностей SM SF MALE Независимая переменная Число лет обучения матери респондента Независимая переменная Число лет обучения отца респондента Независимая переменная, фиктивная переменная Пол, 1=мужской, 0=женский

Пробит-модель. Применение 2(3) Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения

Пробит-модель. Применение 3(3) Пробит оценивание – зависимая переменная GRAD Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения

Сравнение результатов оценки logit и probit Незначительные изменения probit logit

Логит и пробит анализ. Преимущества и недостатки Плюсы Исправление недостатка линейной модели, в которой вероятность могла получаться больше 1 (что логически неверно): вероятность от 0 до 1 При решении задач классификации объекты можно разделять на несколько групп: –Например, в скоринге не только - (0 - плохой, 1 - хороший), но и несколько групп (1, 2, 3, 4 группы риска). Минусы Систематическое завышение оценки коэффициентов регрессии при размере выборки – менее 500 При построении модели нужно минимально 10 исходов на каждую независимую переменную (рекомендованное значение 30-50): –Например, интересующий исход – смерть пациента. Если 50 пациентов из 100 умирают – максимальное число независимых переменных в модели = 50/10=5

Реальные исследования 1(2) 2010 – «Predicting Foreign Bank Exits? Logit and Probit Regression Approach», Aneta Hryckiewicz (Goethe University, Frankfurt), Oskar Kowalewski (Warsaw School of Economics) Данные: 81 закрытый филиал в 37 странах период Анализ данных для филиала и домашнего региона, для года закрытия и предшествующего ему года Переменнаярасшифровка AssetsLog total assets AgrowthAnnual change of total assets EquityEquity to total assets ratio LoansNet loans to total assets ratio LiquidityLiquid assets to customer and short term funding ratio LQualityLoan loss provision to net interest revenue ratio ROAAReturn on average assets CostsCost to income ratio

Реальные исследования. Результаты 2(2) Основная причина закрытия зарубежных отделений – не низкие финансовые показатели филиала, а внутренние проблемы материнского банка: выявлена прямая взаимосвязь между падением показателей материнского банка и ростом вероятности закрытия зарубежного подразделения. При этом в год закрытия показатели материнского банка показывали значительный рост Результаты логит и пробит анализа отличаются незначительно

Конец Спасибо за внимание!

Источники Примечания: Z – линейная функция переменных, определяющих искомую вероятность, f(Z) – функция плотности распределения Nemes S, Jonasson JM, Genell A, Steineck G Bias in odds ratios by logistic regression modelling and sample size. BMC Medical Research Methodology Peduzzi P, Concato J, Kemper E, Holford TR, Feinstein AR (1996). "A simulation study of the number of events per variable in logistic regression analysis". J Clin Epidemiol 49 (12): 1373–9. Agresti A (2007). "Building and applying logistic regression models". An Introduction to Categorical Data Analysis. Hoboken, New Jersey: Wiley. p. 138 Lennox, Clive S., Identifying Failing Companies: A Re- evaluation of the Logit, Probit and MDA Approaches (February 1998) Hryckiewicz, Aneta and Kowalewski, Oskar, Predicting Foreign Bank Exits? A Logit and Probit Regression Approach (January 15, 2010)