Разработка и внедрение систем мониторинга и оценки программ в организации Международная сеть "Оценка программ" (IPEN) Московская международная высшая школа. - презентация

1 Разработка и внедрение систем мониторинга и оценки программ в организации Международная сеть "Оценка программ" (IPEN) Московская международная высшая школа бизнеса МИРБИС КОНФЕРЕНЦИЯ «Разработка и внедрение систем мониторинга и оценки социальных программ» Алексей Кузьмин, Компания «Процесс Консалтинг», Москва Почта: Сайт: Блог: 24 сентября 2010 года, г. Москва

2 2 О чем? Основные понятия Организационные системы Компоненты системы МиО Разработка системы МиО Внедрение системы МиО Данная презентация размещена на сайте в разделе «Конференции/Конференции прошлых лет»

3 3 Организация это скоординированное образование, состоящее, по меньшей мере, из двух человек, которые работают во имя достижения общей цели или совокупности целей. Важные характеристики организации помимо общей цели: контроль за собственной деятельностью; четко определенные рамки, отделяющие её от окружения. Определения основных понятий

4 4 Мониторинг и оценка Рассматриваются здесь применительно к проектам и программам, реализуемым организацией. Определения основных понятий

5 5 СИСТЕМА Проектирования Мониторинга Оценки От МиО к ПМиО! Определения основных понятий

6 6 Проект или программа – особые формы организации деятельности Предполагают запланированное изменение Имеют конкретную цель Включают взаимосвязанные виды деятельности Выполняются в определенной последовательности заранее известными способами Используют ограниченные и заранее определенные ресурсы Выполняются в течение ограниченного и заранее определенного времени Характеризуются новизной, уникальностью (не являются рутинной детяельностью) Определения основных понятий

7 7 Программа – это совокупность проектов, каждый из которых делает вклад в достижение цели программы. Отличие программы от проекта Определения основных понятий

8 8 Мониторинг программы (проекта) Систематический сбор информации о значениях заранее выбранных показателей (индикаторов) для обеспечения руководителей и других заинтересованных сторон сведениями о том, насколько успешно выполняются программа (проект) в целом и ее (его) отдельные компоненты, в какой мере достигаются поставленные цели и как используются ресурсы. Определения основных понятий

9 9 Оценка программы (проекта) Систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее. Определения основных понятий

10 10 Организационная система Стандартный способ поведения организации в стандартной ситуации. МиО как организационная система

11 11 Организационная система Основана на опыте Отделена от людей (формализована) Создается для значимых ситуаций МиО как организационная система

12 12 Компоненты организационной системы Политика организации (управленческое решение, определяющего линию поведения организации в стандартной ситуации), Процедуры (алгоритмы действий, соответствующих политике организации, и предписывающих конкретную последовательность шагов по реагированию на стандартную ситуацию и ответственных за совершение каждого шага), Инструкции (регламентируют выполнение отдельных шагов в рамках процедуры конкретными сотрудниками). Компоненты системы МиО

13 13 Система МиО может еще включать Глоссарий терминов в области МиО Принципы МиО, принятые данной организацией Разрабока системы МиОКомпоненты системы МиО

14 14 Политика организации в области МиО Назначение мониторинга и оценки Виды мониторинга и оценки, используемые данной организацией Институционализация функции мониторинга и оценки (какие подразделения и должностные лица участвуют в реализации этой функции и в каком качестве) Операционализация функции мониторинга и оценки (какие документы регламентируют методологию осуществления мониторинга и оценки) Планирование мониторинга и оценки Организация МиО Финансирование МиО Использование результатов МиО Доступность результатов МиО Компоненты системы МиО

15 15 Процедура мониторинга программы (фрагмент) Определить, какие характеристики программы нам необходимо отслеживать. Определить измеряемые показатели (индикаторы), по которым можно будет отслеживать эти характеристики. Установить источники информации для проведения мониторинга (организации, отделы, отдельные люди или группы людей, документы и т.д.). Выбрать методы сбора информации. Определить периодичность и график сбора информации (замера значений индикаторов). Назначить ответственных за получение необходимой информации и договориться с теми, кто эту информацию будет предоставлять. Определить технологию обработки и анализа получаемой информации. Спланировать, как и кому будут переданы данные мониторинга, а также кто и как будет их использовать. Учесть в бюджете программы расходы, необходимые для проведения мониторинга. Компоненты системы МиО

16 16 Процедура внешней оценки программы Принятие решения Проект ТЗ Выбор исполнителя Согласование ТЗ Заключение контракта Проведение оценки (дизайн, сбор данных, анализ данных, написание проекта отчета) Ознакомление с проектом отчета, комментарии Подготовка окончательного варианта отчета Закрытие контракта с исполнителем Принятие решения об использовании результатов Отчет об использовании результатов Компоненты системы МиО

17 17 Инструкция: «Руководство по МиО» «Руководство по планированию, мониторингу и оценке результатов развития*» Программы развития ООН (2009): 1.Планирование, мониторинг и оценка результатов развития 2.Планирование результатов: практические аспекты 3.Планирование мониторинга и оценки 4.Мониторинг результатов 5.Оценка результатов 6.Подготовка процесса и управление оценкой 7.Обеспечение качества плана и методологии оценки 8.Улучшение процесса использования знаний, полученных на основе мониторинга и оценки * Компоненты системы МиО

18 18 Руководство по МиО: вариант 1.Введение. Назначение Руководства, структура и содержание основных разделов, рекомендации по использованию. 2.Разработка программ и проектов: ориентация на результат. Ттребования к программам и проектам. Жизненный цикл проекта (программы) – с момента идентификации проблемы до завершения. 3.Мониторинг и оценка в жизненном цикле программ и проектов. Классификация видов оценки и мониторинга и их подробные описания, которые используются, с привязкой к жизненному циклу проекта (программы). 4.Мониторинг программ и проектов. Методология. Этапы проведения. Практические рекомендации. Инструменты (в приложениях). 5.Оценка ситуации. Методология. Этапы проведения. Практические рекомендации. Инструменты (в приложениях). 6.Оценка программ и проектов на стадии разработки. Виды. Методология. Этапы проведения. Практические рекомендации. Инструменты (в приложениях). 7.Оценка программ и проектов на стадии реализации и по окончании. Методология. Этапы проведения. Практические рекомендации. Инструменты (в приложениях). 8.Функции мониторинга и оценки. Политики и процедуры в сфере мониторинга и оценки. Здесь объясняется, как институциализирована функция оценки, основные правила игры, кто и каким образом участвует в реализации этих функций. Сами политики и процедуры включаются в приложения. 9.Управление оценкой. Здесь объясняется как планируются МиО; как организуется работа в случаях внешних, внутренних или самооценок; как и кем контролируется качество МиО. 10.Использование и распространение результатов оценки. 11.Развитие потенциала в сфере МиО. 12.Ресурсы для саморазвития в сфере МиО. 13.Приложения. Компоненты системы МиО

19 19 Должностные инструкции Что должен знать и уметь специалист по МиО? Знания и навыки в области социального проектирования и управления программами и проектами. Глубокое знание методологии мониторинга и оценки. Знание международных стандартов, принципов и этических норм в сфере оценки программ. Владение количественными и качественными методами и инструментами исследований и оценки. Отличные аналитические способности. Умение быстро ориентироваться в сложной ситуации и работать в условиях жестких временных ограничений. Высокая работоспособность и стрессоустойчивость. Отличные навыки письменной и устной коммуникации. Самостоятельность, умение работать индивидуально. Умение работать в команде. Способность к клиент-центированной деятельности, умение занять сервисную позицию по отношению к клиенту. Отличные навыки написания аналитических отчетов. Компоненты системы МиО

20 20 Принципы МиО (вариант) Полезность Этичность Ориентация на сотрудничество Реалистичность Точность и достоверность Беспристрастность и справедливость Открытость Компоненты системы МиО

21 21 А. Основой оценки программ может быть только точная и достоверная информация. B. Исполнение работы по оценке должно быть компетентным. C. Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки. D. Специалисты по оценке программ уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности. E. Специалисты по оценке программ имеют профессиональные обязательства, определяющиеся общественными интересами и общественным благом. Принципы оценки программ Международная Сеть «Оценка программ» Компоненты системы МиО

22 22 Принципы МиО Принцип открытости «Процессы мониторинга и оценки должны быть открытыми. Участники этих процессов должны быть хорошо проинформированы о целях мониторинга и оценки, правилах их проведения и требованиях к ним. Фонд считает информированное согласие участников обязательным условием проведения оценки» Компоненты системы МиО

23 23 Глоссарий Компоненты системы МиО «Оценка – это систематическая и объективная оценка продолжающегося или законченного проекта, программы или политики, их планирование, выполнение и результаты» «Глоссарий ключевых терминов в области оценки и управления, основанного на результатах». Организация экономического сотрудничества и развития, 2004

24 24 Определения каких терминов могут быть включены в глоссарий МиО Атрибуция (каузальная) Аудит (программный) Благополучатели Влияние программы Внешняя оценка Внутренняя оценка Выводы Данные Деятельность Дизайн проекта (программы) Донор Задание на проведение оценки Задача программы Задача проекта Заинтересованные стороны Индикатор Инструменты оценки Интерпретация Логика программы (проекта) Мета-оценка Методы оценки Миссия программы (проекта) Мониторинг Надежность Обратная связь Отчет Отчетность Оценка программы (проекта) Оценка возможного влияния Оценка итоговая Оценка оцениваемости Оценка промежуточная Оценка рисков проекта Оценка с участием Оценка ситуации Партнерские отношения Партнеры Пользователи результатов оценки Принципы проведения мониторинга и оценки Программа Проект Проект отчета Результаты оценки Результаты программ Рекомендации Релевантность Ресурсы Самооценивание Стадии жизненного цикла проекта (программы) Суждение Триангуляция Уроки программы (проекта) Устойчивость Целевая группа Цель программы (проекта) Экспертиза замысла проекта Эффект Эффективность Эффективность использования средств Фасилитатор Компоненты системы МиО

25 25 Разработка системы МиО Участие высшего руководства Рабочая группа Консультации с ведущими сотрудниками организации Обучение Апробирование Доработка Разработка системы МиО

26 26 Н x В x П > С "Н" - неудовлетворенность текущей ситуацией "В" - видение того, что и как можно и нужно изменить "П" - первые практические шаги "С" - сопротивление изменениям Внедрение системы МиО Внедрение системы МиО: «формула» организационных изменений* * А.Кузьмин «Оценка программ: формула внедрения»

27 27 Ресурсы на английском языке Examples of evaluation policies: - UNICEF EValuation Policy - The Quality Assurance Agency for Higher Education (QAA) – UK - UNIFEM Evaluation Policy - GAVI Alliance Evaluation Policy - The World Intellectual Property Organization (WIPO) - International Trade Centre, UN Publications on evaluation policies: - New Directions for Evaluation (journal – the whole issue addressing the topic) 0practice%20-%20Where%20do%20we%20go%20from%20here.pdfhttp:// 0practice%20-%20Where%20do%20we%20go%20from%20here.pdf - Evaluation Policy and Evaluation Practice: Where Do We Go From Here? Leslie J. Cooksy, Melvin M. Mark, William M. K. Trochim - Guidance to Programmes for Developing an Evaluation Policy in the UN Orgaizations Job descriptions M&E International Foundation for Agricultural Development