Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации 18 октября 2012 года

2 Нормативно-правовые акты, требующие включения экспертного знания в процесс программно-целевого управления Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Указ Президента Российской Федерации от «О долгосрочной государственной экономической политике», Бюджетное послание Президента Российской Федерации о бюджетной политике в 2013–2015 годах, Указ Президента Российской Федерации от N 1199 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации», Концепция долгосрочного социально-экономического развития Российской Федерации на период до 2020 года, утвержденной Распоряжением Правительства Российской Федерации от 17 ноября 2008 г. N 1662-р (в ред. распоряжения Правительства РФ от N 1121-р), Постановление Правительства Российской Федерации от 2 августа 2010 г. 588 «Об утверждении порядка разработки, реализации и оценки эффективности государственных программ Российской Федерации», Постановление Правительства Российской Федерации «О внесении изменений в Порядок разработки, реализации и оценки эффективности государственных программ Российской Федерации» от 21 мая 2012 г. 499, Методические указаний по разработке и реализации государственных программ Российской Федерации, утвержденных приказом 670 Минэкономразвития России 22 декабря 2010 г.

Экспертное знание при программно-целевом управлении 3 Инициирование Разработка Анализ и адаптация результатов Реализация Завершение Ресурсы Отдельные мероприят ия Непосредст венные результаты Конечные результаты Конечные эффекты Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Правительство Российской Федерации проводит реформу, направленную на развитие программно-целевых методов управления и формирование системы бюджетирования, ориентированной на результат. Система бюджетирования, ориентированная на результат, не может работать без необходимых обеспечивающих ресурсов: офиса управления программами, подготовленных кадров, методических руководств и стандартов, информационно-аналитических инструментов и экспертно-аналитического сопровождения. Этапы ЖЦП Экспертное сопровождение необходимо на всех тапах жизненного цикла программы В фокусе экспертного оценивания:

4 Задачи экспертного анализа в рамках мониторинга государственных программ Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Внешний контекст программы: социальная, экономическая, демографическая, технологическая и иная среда реализации. Выявление и описание заинтересованных лиц. Описание потребностей и ожиданий социальных групп - благополучателей программы. Оценка системы целей и задач. Индикаторы и источники проверки показателей приближения к достижению целей и промежуточных результатов. Выявление и отслеживание внешних факторов и рисков, которые могут оказать как отрицательное, так и положительное влияние на ход реализации программы и достижение конечных результатов и эффектов. Оценка плана реализации. Продукты (услуги) и эффекты, производимые в рамках программы, а также результаты и изменения, связанные с ними через их потребление целевыми группами.

5 Структура организации работы с внешними экспертами Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Система управления экспертным пулом Система информационно- аналитического обеспечения Система программно- аппаратных решений автоматизации внешней экспертной оценки Стратегическое планирование Организация труда экспертов Организационн ое проектирование Перемещение и вывод экспертов Поиск, отбор и найм экспертов – физических лиц Администрирован ие Обучение и развитие экспертов Управление эффективнос тью экспертов Мотивация, вознагражден ие и удержание экспертов Организация работ База государственн ых проектов База материалов экспертов База правовых актов База данных СМИ База специальной литературы База статистики База государственных портфелей программ и проектов База данных социологических исследований База зарубежных ассоциаций оценщиков Система методологического сопровождения Методика управления государственными программами и проектами Стандарты и руководства оценки Методики сбора данныхМетодики обработки данных Регламенты взаимодействия Методики работы с ПО Автоматизация управления Безопасность Серверные решения Программное обеспечение Управление и администрирование информресурсов Организация внешней экспертизы Управление серверами Интернет- портал Электронный документооборот

6 Модули структурной организации работы с внешними экспертами Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Базы данных Росстата (партнерские отношения); Правовая система КонсультантПлюс; Система профессионального анализа рынков и компаний Спарк; База публикаций СМИ Public.Ru; Ведомственная статистика (ЕМИСС и в отдельности ведомств); Базы данных социологических опросов ВЦИОМ, ФОМ; и проч. Базы данных Методическое обеспечение Экспертная сеть Программное обеспечение Стандарты логико- структурного подхода; Стандарты по мониторингу и оценки (The World Bank – Ten Steps to a Results-Based Monitoring and Evaluation System; WWF Standards of Conservation Project and Programme Management, 2007; UNICEF M&E Training Resource. Stakeholder analysis); Свод знаний по управлению проектами от Project Management Institute (США) Стандарты по разработке модели компетенций Тематические экспертные панели по проектам ОНДП; Тематические экспертные панели по проектам КМТР; Экспертный пул по оценке рисков; Формирующиеся экспертные панели по государственным программам (пул экспертов- предметников, пул экспертов-демографов, пул экспертов, представляющих интересы целевых социальных групп и проч.) База контактных лиц в администрациях глав 83 субъектов РФ; Экспертный пул по ситцентрам… Система АТИС (разработка Аналитического Центра); Palantir (планы); Система Web-Tutor; Лицензионное программное обеспечение SPSS ; Аналитические платформы QlikView, IBM Cognos BI, Deductor и SAP Businessobjects; AnyLogig (планы); ГИС (планы).

Успешное управление проектами Специальные компетенции Управление интеграцией проекта Ориентация на результат Заинтересованность в порядке, качестве и точности Инициативность Стремление к актуализации информации Инициация проекта Планирование Исполнение Мониторинг и контроль Завершение проекта Управление содержанием проекта Клиентоориентированность Межличностный контакт Управление сроками проекта Управление стоимостью проекта Управление качеством проекта Управление человеческими ресурсами Управление коммуникациями проекта Управление рисками проекта Управление поставками проекта Личностные компетенции Способность действовать и добиваться результата Участливость и внимание к окружающим Способность оказывать влияние и приводить к изменениям Способность руководить Способность овладевать новой информацией Воздействие и влияние Знание устройства организации Выстраивание отношений Командная работа и кооперация Развитие окружающих Командное лидерство Целеустремлённость: упорство и использование всех возможностей текущего положения Аналитическое мышление Концептуальное мышление Личная эффективность Самоконтроль Уверенность в себе Гибкость Организационная лояльность Лидерские компетенции Предпринимат ельское видение Лидерство посредством видения и ценностей Принятие стратегических решений Системное программное лидерство Деловая хватка Информированность о внешней среде Знание управленческих процессов Организационн ое мышление Быстрое развитие команды Культура совместной работы в команде Формирование продуктивной рабочей среды Профессиональная оценка политической/внешней среды Прототип модели компетенций для экспертной оценки государственных программ Источник: The Art of Project Management: A Competency Model For Project Managers/ Boston University

8 Сравнение методов поиска потенциальных экспертов ХарактеристикаАвтоматизированный поиск по базам публикацийСнежный ком достоинства возможность выявить генераторов идей; охватить все «научные школы», ведущие научные центры; сформировать потенциал панели в оперативном режиме; минимизация финансовых затрат при поиске экспертов; выявление специалистов, пользующихся авторитетом в России и за рубежом; методика имеет максимальную эффективность для тематик, по которым есть большое количество научных публикаций выявление ведущих специалистов; формирование генеральной совокупности специалистов, компетентных в области изучаемой проблемы; недостатки среди кандидатов в эксперты присутствует некоторое количество специалистов, не имеющих глубоких познаний в предметной области аспирантов – молодых специалистов; выявление «ньюсмейкеров», выявление специалистов пенсионного возраста; невозможность выявить специалистов, чьи работы закрыты для широкой общественности большие временные затраты; полученная панель может сформироваться вокруг одной научной школы/ научного центра; значительные финансовые затраты Оценка эффективности деятельности органов государственной власти Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации

9 Этапы автоматизированного поиска экспертов Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Этап 1. Составление поискового запроса, обеспечивающего точность и полноту выборки документов. Слова и словосочетания для поискового запроса формируются из проектной документации и терминов из публикаций, посвященных проблемному полю проекта, а также названных экспертом. Диапазон дат: с 2005 года включительно. Этап 2. Проведение поиска по запросу. Поиск осуществляется по названиям и текстам научных публикаций. В качестве базы научных публикаций используется база «Научной электронной библиотеки» ( В качестве базы сообщений по конференциям, круглым столам и мероприятиям использовалась база данных по открытым источникам Аналитического Центра (поисковая система АТИС). Этап 3. Выгрузка метаинформации документов. Этап 4. Построение и анализ первичного графа связей научных публикаций. На графе отмечаются публикации, соответствующие запросу, авторы публикаций и связи между авторами и публикациями. Построение и анализ графа осуществляется прикладным пакетом Organizational Risk Analysis (ORA, программный пакет, разрабатываемый в университете Карнеги-Мэллон). Этап 5. Выгрузка научных публикаций, ссылающихся на первичные публикации. Дополнение графа связей этими публикациями. Этап 6. Анализ графа. Выявление основных кластеров. К дальнейшей верификации полученного списка приглашаются эксперты, с которыми Аналитический центр уже проводил экспертные работы.

10 Пример автоматизированного поиска экспертов по базам публикаций Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Граф ключевых публикаций и авторов по тематике проекта Наибольший объем публикаций Наибольшее количество ссылок Авторы связаны одной организацией Авторы не связаны одной организацией

11 Стандарт – это официальный документ, в котором описываются установленные нормы, методы, процессы и практики оценивания. Зарубежная практика накопила богатый опыт, который необходимо использовать: Руководство по планированию, мониторингу и оценке результатов развития/ Программа развития организации объединенных наций. ООН, Мониторинг и оценка. Некоторые инструменты, методы и подходы/ Департамент оценки операций Всемирного банка. Развитие возможностей оценки. Вашингтон, 2004 г. A Guide to the Project Management Body of Knowledge – руководство PMBOK / Project Management Institute, U.S.2008 г. Руководство к Своду знаний по управлению проектами Четвертое издание. Процессы по управлению проектами. Основано на Руководстве PMBOK®. U.S. government, Federal government of the United States - Program assessment rating tool guidance no/ Office of management and budget. Washington Основополагающее руководство и пакет программ для разработчиков политики и практиков. Мадридский международный план действий по проблемам старения/ ООН. Департамент по экономическим и социальным вопросам отдел социальной политики и развития. Нью-Йорк, 2007г. The World Bank. Policy Toolkit for Strengthening Health Sector Reform/ September WWF Standards of Conservation Project and Programme Management [online], 09 February The Federal Ministry for Economic Cooperation and Development (BMZ) of Germany. Multi- stakeholder management: Tools for Stakeholder Analysis: 10 building blocks for designing participatory systems of cooperation,2007. Schmeer, Kammi. Stakeholder Analysis Guidelines in Policy Toolkit for Strengthening Health Sector Reform,1999 Методическое обеспечение экспертных оценок: руководства и стандарты оценки Оценка эффективности деятельности органов государственной власти Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации

Схема работы с экспертами в рамках мониторинга программ и проектов Организация внешней экспертизы – деятельность по созданию, поддержанию и контролю процессов, необходимых для подготовки внешней экспертной оценки государственных проектов и программ. Этапы работ: соответствии с задачами модераторы выбирают подходы к ее решению, формулируют требования к экспертам, разрабатывают модель компетенций для экспертов, проводят оценочные процедуры, формируют пул экспертов, описывают командно-ролевую структуру проектной экспертной группы, экспертная группа разрабатывает сценарий экспертного мероприятия, проводит его, готовит отчет.

13 Пользовательский интерфейс базы данных внешних экспертов Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации

14 Пользовательский интерфейс экспертного портала Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации

15 Дорожная карта организации работы с внешними экспертами Организация работы с экспертным сообществом Аналитического центра при Правительстве Российской Федерации Концепция организации работы с экспертами Концепция компетенций экспертной оценки государственных программ Ввод в действие ПО базы данных об экспертах Сформированы панели по проектам ОНДП Сформированы панели по проектам КМТР Подбор панели кандидатов по ГП Разработка регламента работы с экспертами Методики оценки ГП в стратегии LFA Методики анализа заинтересованных сторон Методики имитационного моделирования ГП Методики оценки общественно- значимых результатов и эффектов Разработка имитационных моделей по ГП моделей Методики анализа рисков Формирование экспертных пулов по ГП Аккредитация экспертов Договоры с бригадирами Учебные курсы для экспертов Развитие портала ПО: Palanir, Oracle, ГИС Формирование информационных баз Налаживание связей с ассоциациями экспертов Разработка мотивации работ с экспертами и бриагадирами Отработка технологий оценки общественно-значимых результатов ГП Методики оценки портфеля ГП Включение экспертной поддержки в мониторинг ГП Учебные курсы Руководства оценки ГП