Влияние аналитических центров и сообществ на политико-управленческие решения: методология оценки и её апробация на примере региональных аналитических сообществ. - презентация

1 Влияние аналитикеских центров и сообществ на политико-управленческие решения: методология оценки и её апробация на примере региональных аналитикеских сообществ и деятельности центров прогнозирования в России Н.Ю. Беляева Д.Г. Зайцев Higher School of Economics, Moscow, Доклад на XVI Апрельской международной научной конференции «Модернизация экономики и общества», г.

2 Методика оценки влияния АЦ (зарубежный опыт, примеры методик) Авторы Показатели влияния АЦ Критерии определения объектов Субъекты оценки Предмет оценки 1.Г. Домхофф 1. Источники финансирования, 2. Связи с властью «важность» занимаемой позиции автор Позиция центра 2.Н. Рабл 1. Уровень цитируемости в СМИ 2. Частота выступлений в парламенте на слушаниях специализация на экономических исследованиях; АЦ «полного цикла» автор Активность центра 3.А. Посен, С. Тримбат 1. Уровень цитируемости в СМИ известность (всемирная); специализация на экономических исследованиях; АЦ «полного цикла»; представленность АЦ разного «политического спектра» и географического охвата автор Информаци онная активность центра

3 Методика оценки влияния АЦ (зарубежный опыт, примеры методик) Авторы Показатели влияния АЦКритерии определения объектов Субъекты оценки Методика 4.Дж. Мак ган 1. Восприятие среди экспертов«лучшие в мире, регионе»; авторитетность (репутация); цитируемость; автономный политический статус; ориентация на влияние на политический процесс автор; исследователи АЦ; сотрудники АЦ; «доноры»; политики и др. Репутация центра 5.Э. Рич, К. Уивер 1. Восприятие среди экспертов 2. Уровень цитируемости в СМИ 3. Частота выступлений в парламенте на слушаниях автономный политический статус; ориентация на влияние на политический процесс; «видность» автор; эксперты (журналист ы и политики) Репутация и активность центра 6.Э. Рич 1. Ресурсы (объем бюджета, кадры и др.) и стратегии; 2. Восприятие среди экспертов 3. Уровень цитируемости в СМИ 4. Роль АЦ в процессе принятия политических решений на различных стадиях (case studies) автономный политический статус; ориентация на влияние на политический процесс автор; эксперты (журналист ы и политики) Позиция, репутация и активность центра, а также policy impact

4 Объект исследования – аналитикеские центры и сообщества Предмет исследования – от оценки позиций к policy impact Важность учета влияния контекста на способность АС оказывать воздействие Недостаточность экспертных оценок как источника информации о центрах Комбинация методов и подходов Необходимость адаптации существующих методик оценки влияния АЦ к РФ

5 LEVEL OF CONSOLIDATION RESOURSE AUTONOMY CONTEXT FORMAL STATUS & REPUTATION ACTIVITY Методика оценки влияния АЦ ANALYTICAL COMMUNITIES POLICY IMPACT

6 Публикации с применением методики оценки влияния АЦ Аналитические сообщества в публичной политике: глобальный феномен и российские практики / Отв. ред.: Н. Ю. Беляева; науч. ред.: Д. Г. Зайцев, Ш. Ш. Какабадзе. М. : РОССПЭН, Зайцев Д. Г. Факторы и условия становления субъектности аналитикеских сообществ в России // В кн.: Политический класс в современном обществе / Отв. ред.: О. В. Гаман-Голутвина. М. : РОССПЭН, Гл С Зайцев Д. Г. Аналитические центры в политике. Характеристика и оценка влияния на политический процесс. Saarbrucken : LAP LAMBERT Academic Publishing, Zaytsev D. G. Analytical Communities in the Local Policy Process: Creating Self-identity // International Journal of Business and Social Science Vol. 3. No. 5. P Аналитические сообщества в Республике Карелия // Становление аналитикеских сообществ в регионах России. Ответственный редактор серии Н.Ю.Беляева. Москва: ИНТЕЛКОРП, Аналитические сообщества в Саратовской области: сборник статей по итогам пилотного исследования региона. Научный редактор: Н. Ю. Беляева. Ответственный редактор: Ш. Ш. Какабадзе. М.: ИНТЕЛКОРП, Аналитические сообщества в Республике Татарстан: сборник статей по итогам пилотного исследования региона. Под общей редакцией: Н. Ю. Беляева, Ш. Ш. Какабадзе. М.: ИНТЕЛКОРП, 2011.

7 Книги с применением методики оценки влияния АЦ

8 Оценка влияния региональных аналитикеских сообществ на политико- управленческие решения

9 DATA COLLECTION on regional analytical communities photo 19 Sept – Workshop with representatives of regional analytical communities in Saratov 31 Oct – Workshop with representatives of regional analytical communities in Petrozavodsk 11 Dec – First setting Workshop with representatives of regional analytical communities in Kazan 18 Feb – Second Workshop with representatives of regional analytical communities in Kazan 27 Nov – Workshop with representatives of regional analytical communities (Saratov, Karelia, Tatarstan, Altai) in Moscow Semi-structures Interviews with representatives of regional analytical communities (Saratov, Karelia, Tatarstan) Nov – Semi-structures Interviews with representatives of national analytical communities in Bishkek (Kirgizstan) 28 Jan – Workshop with representatives of regional analytical communities in Petrozavodsk

10 DATA COLLECTION (numbers of interviewed) photo Case/UnitWorkshops participants Semi-structured Interviews Total by Cases Saratov Karelia (Petrozavodsk) Tatarstan (Kazan) Total for Regions Kirgizstan (Bishkek) -10

11 DATA COLLECTION (limitations) photo 1. Opinions and Declarations about themselves 2. Not Random, Expert Sample 3. The results are valid for: Those who came to the workshops, devoted to the analysis of regional analytical communities (RAC) role (power, influence and impact), reflecting on these topics, interested in increasing RAC role More active, with active position to influence, part of regional analytical communities Recruited by local agents, follow the tracks of places, where the workshops were organized

12 CONTEXT (political context for RAC impact) photo

13 CONTEXT (political context for RAC impact) photo

14 RAC policy impact photo

15 RAC policy impact photo

16 Оценка эффективности деятельности отраслевых центров научно - технологического прогнозирования (ОЦП) в России

17 Задачи Использование апробированной методики оценки влияния аналитикеских центров (АЦ) для оценки эффективности деятельности отраслевых центров научно-технологического прогнозирования России (ОЦП) Адаптация апробированной методики оценки влияния АЦ к целям проекта ОЦП Сбор и обработка данных проекта для оценки эффективности ОЦП по адаптированной методике Анализ и интерпретация данных проекта для оценки эффективности ОЦП по адаптированной методике Подготовка аналитикеского отчета по итогам

18 Правила адаптации методики (ограничения и допущения) 1. Объект исследования: сетевое сообщество в стадии становления, формирования и развития разная степень институционализации элементов сети (от организаций до индивидов) необходимость включения в оценку иных акторов инновационной политики (policy makers; экспертов (в том числе, по АЦ, футурологов, специалистов по Форсайту); представителей ГО и Безнеса)

19 Правила адаптации методики (ограничения и допущения) 2. Предмет исследования: необходимость «перехода» от «технократического подхода» в анализе к «public policy approach» (incl. policy actors and drivers, policy change, policy design, policy capacity, policy impact, and policy effect) «трудности перевода»

20 Правила адаптации методики (ограничения и допущения) 3. Сбор и обработка данных: опора практически только на один метод – «вторичный анализ данных» отсутствие данных по некоторым показателям исходной модели (не консистентность данных) разница в результатах подсчетов по одинаковому показателю, если данные берутся из разных источников/отчетов ОЦП (низкая достоверность данных по некоторым показателям или разрозненность данных)

21 Правила адаптации методики (ограничения и допущения) 4.Анализ, интерпретация и визуализация данных: трудности использования сложных моделей агрегации данных и представления результатов исследования из-за: низкого охвата показателей исходной модели доступности данных одной природы (количественных данных) невозможности оценить «веса» показателей модели Вопросы валидности и надежности полученных результатов: полученные результаты не претендуют на Абсолютно Истинную оценку эффективности ОЦП нацелены на разработку и развитие системы показателей мониторинга эффективности сети ОЦП должны быть верифицированы оценкой различных «стейкхолдеров проекта» 5. Временные ограничения

22 Правила адаптации методики (общие основания) 1.Концептуализация: что такое ОЦП? Их эффективность? 2.Операционализация: параметры (4), показатели (11), индикаторы (31) 3.Измерение: как измерять эффективность? 4.Агрегация: «формулы» расчетов интегрированных индексов (8) 5.Визуализация: представление результатов исследования 6.Интерпретация: что это все значит?

23 Параметры модели 2 й уровень детализации (адаптация оригинальной методики) Параметры методики оценки влияния АЦ/АС консолидация и идентичность аналитикеского сообщества автономия (в том числе ресурсная автономия) или «властный потенциал», включая активность АС воздействие и влияние аналитикеского сообщества на политические изменения контекст влияния аналитикеского сообщества Параметры методики оценки эффективности деятельности сети ОЦП формирование сети ОЦП потенциал развития сети ОЦП результаты деятельности сети ОЦП возможности и ограничения деятельности сети ОЦП

24 Показатели модели (1): 2 й уровень детализации (адаптация оригинальной методики) Консолидация и идентичность АЦ/АС Общность интересов Общность целей Общность ценностей Коммуникационная связанность Формирование сети ОЦП Структуры и эксперты, привлечённые в сеть ОЦП 2. Аналитические продукты, экспертные и публичные мероприятия ОЦП 3. Степень вовлеченности участников сети ОЦП во внутренние мероприятия и подготовку аналитик. продуктов

25 Показатели модели (2): 2 й уровень детализации (адаптация оригинальной методики) Автономия (в том числе ресурсная автономия) или «властный потенциал», включая активность АС Степень самоорганизации Степень самоуправления Степень самодостаточности Способность к самостоятельному целеполаганию Поддержание собственной идентичности (четкость границ сообщества) Потенциал развития сети ОЦП

26 Показатели модели (3): 2 й уровень детализации (адаптация оригинальной методики) Автономия (в том числе ресурсная автономия) или «властный потенциал», включая активность АС Кадровый ресурс Организационный ресурс Интеллектуальный ресурс Социальный ресурс Материальный ресурс Публичный (информационный) ресурс Символический капитал Потенциал развития сети ОЦП Разнообразие и представленность экспертов разных категорий, их «качество» Разнообразие и представленность организаций разных категорий Разнообразие и представленность тем, экспертов и организаций по темам Разнообразие и представленность экспертов и организаций по социальным областям Репутация ОЦППубличная известность ОЦП -

27 Показатели модели (4): 2 й уровень детализации (адаптация оригинальной методики) Автономия (в том числе ресурсная автономия) или «властный потенциал», включая активность АС Неформальные контакты с ЛПР Участие в формальных процедурах Участие в дискуссионных формах коммуникации Выпуск аналитикеского продукта Потенциал развития сети ОЦП

28 Показатели модели (5): 2 й уровень детализации (адаптация оригинальной методики) воздействие и влияние аналитикеского сообщества на политические изменения Текущей политической ситуации (situational change) На политико-управленческие решения в конкретных областях (policy change) На институциональные изменения (institutional change) результаты деятельности сети ОЦП - Оценка влияния деятельности сети ОЦП на политико-управленческие решения в области научно- технологического развития России (policy effect on STI- policy) -

29 Показатели модели (6): 2 й уровень детализации (адаптация оригинальной методики) контекст влияния аналитикеских сообществ политический культурный экономический социальный правовойинфраструктурныйглобальный возможности и ограничения деятельности сети ОЦП соответствие целей результатам, пути развития -

30 Индикаторы модели (1): 3 й уровень детализации (адаптация оригинальной методики; опорные индикаторы) 1. Количество организаций и экспертов сети ОЦП, кластеров, базовых центров, центров превосходства 2. Количество мероприятий и их участников, аналитикеских продуктов и их авторов 3. Доля экспертов-авторов аналитикеских продуктов среди всех экспертов сети ОЦП (1) 4. Доля участников мероприятий ОЦП среди всех экспертов сети ОЦП 5. Доля внутренних мероприятий ОЦП среди всех экспертных организаций сети (2) 6. Количество и доля привлеченных экспертов сети ОЦП по категориям (ученым званиям, степеням, эксперты от организаций, независимые эксперты, по регионам) 7. Степень разнообразия привлеченных экспертов по категориям (ученым званиям, степеням) (3) 8. Степень разнообразия привлеченных экспертов по категориям (эксперты от организаций, независимые эксперты) (4) 9. Степень разнообразия привлеченных экспертов по категориям (регионам) (5) 10. Количество публикаций экспертов сети ОЦП (среднее значение)

31 Индикаторы модели (1): 3 й уровень детализации (адаптация оригинальной методики; опорные индикаторы) 11. Количество и доля привлеченных организаций сети ОЦП (по категориям и регионам) 12. Степень разнообразия привлеченных организаций сети ОЦП (по категориям) (6) 13. Степень разнообразия привлеченных организаций сети ОЦП (по регионам) (7) 14. Количество тематических областей сетей ОЦП (8) 15. Количество экспертов по тематическим областям 16. Количество организаций по тематическим областям 17. Степень равномерности распределения экспертов по тематическим областям (9) 18. Степень равномерности распределения организаций по тематическим областям (10) 19. Количество экспертов по социальным областям 20. Количество организаций по социальным областям 21. Степень распределения экспертов по социальным областям (11) 22. Степень распределения организаций по социальным областям (12)

32 Индикаторы модели (1): 3 й уровень детализации (адаптация оригинальной методики; опорные индикаторы) 23. Место вуза-координатора сети ОЦП в рейтинге российских вузов (13) 24. Частота упоминаний сетей ОЦП в СМИ (ИНТЕГРУМ) 25. Частота упоминаний сетей ОЦП в СМИ (Public.Ru) (14) 26. Количество рекомендаций (мер государственной политики), предлагаемых ОЦП (15) 27. Присутствие в общественном дискурсе предложений ОЦП - количество упоминаний рекомендаций, предлагаемых ОЦП, в СМИ за период с начала 2011 года до настоящего времени (16) 28. Степень конкретности и качества рекомендаций, предложенных сетью ОЦП 29. Включение предложений в систему государственных решений в области научно-технологического развития по приоритетным направлениям развития науки и технологий 30. Соответствие целей и задач проекта достигнутым результатам 31. Пути развития проекта, возможные сценарии и пути преодоления ограничений первого этапа проекта

33 Индексы (1): правила расчета 1. Стандартные отклонения для мер разнообразия (равномерности распределения экспертов и организаций по группам) 2. Нормирование или стандартизация индикаторов индексов 3. Средняя арифметическая как мера агрегации стандартизированных индикаторов для расчета индексов

34 Индексы (2): список 1. Индекс сформированности ОЦП 2. Индекс кадрового потенциала ОЦП 3. Индекс организационного потенциала ОЦП 4. Индекс интеллектуального потенциала ОЦП 5. Индекс социального потенциала ОЦП 6. Индекс символического потенциала ОЦП 7. Индекс информационного потенциала ОЦП 8. Индекс влияния на политико-управленческие решения в сфере НТП

35 Результаты (1)

36 Результаты (2)

37 Результаты (3) ось Х – «человеческий - институциональный потенциал сети ОЦП» ось Y – «диверсификация - специализация стратегии деятельности сети ОЦП»

38 СПАСИБО ЗА ВНИМАНИЕ ! Н.Ю. Беляева Д.Г. Зайцев Public Policy Department National Research University «Higher School of Economics» Web: - Department's website in English - Master's Program Phone: *