VI конференция "Леонтьевские Чтения", 29-30 сентября 2006 г.1 Современные методы оценивания эффектов от участия в программах: приложение к российской действительности. - презентация

1 VI конференция "Леонтьевские Чтения", сентября 2006 г.1 Современные методы оценивания эффектов от участия в программах: приложение к российской действительности Центр Экономических и Финансовых Исследований и Разработок (Москва)

2 VI конференция "Леонтьевские Чтения", сентября 2006 г.2 Мотивация Академический интерес: Стремление выделить эффект воздействия какого-либо события (службы в армии по призыву, кампании о вреде курения, занятости в бюджетном секторе экономики, переезда в другой населенный пункт, программ переобучения, и т.п.) Интерес с точки зрения выработки политики: Публичная дискуссия об эффективности государственных программ в России, особенно в контексте «бюджетирования по результатам» Активные программы содействия занятости (АПЗ) как инструмент борьбы с безработицей Дополнительный интерес к программам переобучения (ожидаемое усиление открытости экономики и оценка издержек приспособления; обеспечение устойчивого экономического роста)

3 VI конференция "Леонтьевские Чтения", сентября 2006 г.3 Контекст Огромный поток литературы по оценке эффективности государственных программ, в т.ч. АПЗ, в развитых странах Heckman, LaLonde, and Smith (1999) Исследования эффективности АПЗ в Центральной и Восточной Европе LaLonde (1986) Kluve, Lehmann and Schmidt (1999, 2002) Работы по АПЗ в России Ниворожкина и др. (2003) Ахмедов, Денисова, Карцева (2003) Бенус и др. (2004) Денисова и Карцева (2004)

4 VI конференция "Леонтьевские Чтения", сентября 2006 г.4 Задача оценивания D – индекс участия в программе, D=1;0 Y – вектор исходов (Y 0 ; Y 1 )/зарплата, занятость, и т.п./ Выигрыш от участия в программе: = Y 1 – Y 0 Фундаментальная проблема оценивания: Y 1 и Y 0 невозможно наблюдать одновременно ни для кого!

5 VI конференция "Леонтьевские Чтения", сентября 2006 г.5 Методология Для оценки эффектов программ необходимо Сравнивать сравнимые явления (Y i1 и Y i0 ) ПРИМЕР (Y-трудоустройство) Доля трудоустроенных Среди участников программ 80% Среди всех безработных 60% Среди контрольной группы 75% Эффект участия в программе ?

6 VI конференция "Леонтьевские Чтения", сентября 2006 г.6 Пути решения проблемы: Оценить пропущенные данные E(Y 0 |X, D=1) или E(Y 1 |X, D=0) Затем оценить условное среднее E(|X) по выборке, где =Y 1 -Y 0 X – вектор экзогенных переменных, X не зависит от реализации D f(X|D, Y)=f(X| Y)

7 VI конференция "Леонтьевские Чтения", сентября 2006 г.7 Y=DY 1 +(1-D)Y 0 E(Y 0 |X)=μ 0 (X)=Xβ 0 ; Y 0 =μ 0 (X)+u 0 E(Y 1 |X)=μ 1 (X)=Xβ 1 ; Y 1 =μ 1 (X)+u 1 Y= Xβ 0 +D(X(β 1 -β 0 )+ u 1 - u 0 )+ u 0 E(u 0 |X)=0; E(u 1 |X)=0 Влияние программы: E(Y 1 -Y 0 |X)= E(|X) В регрессии с переключениями: Y=Xβ 0 +DX(β 1 -β 0 )+ {u 0 +D(u 1 - u 0 )} E[u 0 +D(u 1 - u 0 )]0 !!!!!

8 VI конференция "Леонтьевские Чтения", сентября 2006 г.8 На практике, оценивают не E(|X), а E(|X, D=1) Y=Xβ 0 +D[X(β 1 -β 0 )+E(u 1 - u 0 |X, D=1)]+ +{u 0 +D[(u 1 - u 0 )-E(u 1 - u 0 |X,D=1)]} Нестандартный параметр: содержит средние ненаблюдаемых величин. Средний выигрыш оценивается в терминах наблюдаемых и НЕнаблюдаемых параметров!

9 VI конференция "Леонтьевские Чтения", сентября 2006 г.9 А. u 1 - u 0 =0 (ненаблюдаемые факторы одинаковы в состоянии 1 и 0) Y 1 -Y 0 =X(β 1 -β 0 ) Если Y 1 -Y 0 = α, то Y=Xβ+Dα+u, E(u)=0 В. u 1 u 0, но E(u 1 - u 0 |X,D=1)=0 Y=Xβ 0 +D[X(β 1 -β 0 )]+{u 0 +D(u 1 - u 0 )} E(u 0 +D(u 1 - u 0 )|X,D)=E(u 0 |X,D) Коэффициент при D – переменная величина, но не коррелирован с D Центральная проблема – ковариация u 0 и D С. u 1 u 0, и E(u 1 - u 0 |X,D=1) 0 Коэффициент при D – переменная величина, и коррелирован с D

10 VI конференция "Леонтьевские Чтения", сентября 2006 г.10 ПОДХОДЫ Экспериментальный Не экспериментальный подбор пары Оценка «До-после» Y 1t - Y 0t Идентификационное условие E(Y 0t - Y 0t |D=1)=0 Оценка «разница разниц» (Y 1t - Y 0t ) 1 - (Y 0t - Y 0t ) 0 Идентификационное условие E(Y 0t - Y 0t |D=1)=E(Y 0t - Y 0t |D=0) Кросс-секционная оценка (Y 1t ) 1 -( Y 0t ) 0 Идентификационное условие E(Y 0t |D=1)=E(Y 0t |D=0)

11 VI конференция "Леонтьевские Чтения", сентября 2006 г.11 Методология Для каждой подгруппы участников программы подбираются пары (контрольная подгруппа), характеризующиеся таким же набором до-программных характеристик Эффект участия в программе = = m w m E(m, pr k =1) где m – индекс контрольной группы, w m – вес контрольной группы m в выборке, E(m, pr k =1) – средний эффект участия в программе k в рамках контрольной группы m =Y i1 – Y j0, i, j m (для каждого i участника программы k существует множество не-участников, j, составляющих пару с i). Точное совпадение (exact matching) против вероятностной меры (propensity score)

12 VI конференция "Леонтьевские Чтения", сентября 2006 г.12 Вопросы исследования Каково влияние политики СЗ, пассивной и активной, На перспективы занятости ? На длительность эпизодов безработицы? Какие программы относительно «лучше» и для каких групп безработных? Есть ли региональная вариация и что ее объясняет, если есть

13 VI конференция "Леонтьевские Чтения", сентября 2006 г.13 Данные Последующие опросы (follow-up), весна 2004 г. В России:один регион в Центральной России и один регион на Урале В Румынии: один регион Анкета Демографические данные Информация о статусе на рынке труда до регистрации в СЗ в В период регистрации ( ) Процедура подачи заявки на программу Участие в программе (переобучение) Снятие с учета Статус на рынке труда в 2003 г. и текущая ситуация Контактная информация

14 VI конференция "Леонтьевские Чтения", сентября 2006 г.14 Определение индикатора исхода Вероятность иметь работу на момент проведения обследования Вероятность иметь работу хотя бы один раз после выбытия из регистра Вероятность высокой зарплаты Длительность текущего эпизода безработицы, месяцев

15 VI конференция "Леонтьевские Чтения", сентября 2006 г.15 Критерии подходящей пары Пару для участника переобучения составляют не участники с примерно таким же значением вероятности участвовать в программе (propensity score). Вероятность зависит от возраста (4 категории), образования (4 категории), состояния здоровья местожительства (город/село) истории до безработицы занятость (высвобожденные, потеряли работу по иным причинам) вне р/с (никогда не работали, длительно не работали)

16 VI конференция "Леонтьевские Чтения", сентября 2006 г.16 Демографический профиль участников и неучастников, Россия, регион 1

17 VI конференция "Леонтьевские Чтения", сентября 2006 г.17 Эффект переобучения

18 VI конференция "Леонтьевские Чтения", сентября 2006 г.18 Эффект переобучения: подгруппы

19 VI конференция "Леонтьевские Чтения", сентября 2006 г.19 Эффект переобучения: подгруппы

20 VI конференция "Леонтьевские Чтения", сентября 2006 г.20 Эффект переобучения: подгруппы

21 VI конференция "Леонтьевские Чтения", сентября 2006 г.21 Помогло ли Вам участие в программе найти работу?

22 VI конференция "Леонтьевские Чтения", сентября 2006 г.22 Результаты Программы переобучения в России в целом не оказывают статистически значимого воздействия, ни положительного, ни отрицательного, на занятость и доходы их участников по сравнению с контрольной группой Программы переобучения в Румынии в целом способствуют улучшению позиций их участников на рынке труда, как в терминах занятости, так и в терминах зарплаты Общий эффект программ значительно варьируется среди подгрупп участников разного возраста, образования и состояния здоровья

23 VI конференция "Леонтьевские Чтения", сентября 2006 г.23 Выводы Нет общих рецептов, необходимо проводить анализ эффективности программ (в целом и для подгрупп) В Румынии лучше: Содержание программ и их соответствие запросам рынка труда? Пул безработных? Правила отбора из пула? Роль перспектив вступления в ЕС как якорь в реформе институтов

24 VI конференция "Леонтьевские Чтения", сентября 2006 г.24 Результаты: подгруппы Россия: участие в программе людей старше 45 лет улучшает их шансы на рынке труда, тогда как участие молодых – до 25 лет – ухудшает их позиции Гендерный эффект отсутствует Люди со средним общим образованием также выигрывают от переобучения, тогда как участники с начальным профессиональным образованием теряют от участия в программе переобучение оказалось чрезвычайно полезным для инвалидов во втором регионе

25 VI конференция "Леонтьевские Чтения", сентября 2006 г.25 Результаты: подгруппы Румыния: участие в программе улучшает положение средней возрастной группы на рынке труда Женщины также выигрывают от переобучения в Румынии Участники их сельских регионов сильно выигрывают от переобучения