Применение методики мониторинга и оценки в практике реализации социально-значимых проектов Карагандинской области к.э.н., эксперт Всемирного банка в области мониторинга и оценки результатов проектов и программ Елена Вечкинзова

Государственный заказ - регламентированная деятельность с целью эффективного использования бюджетных средств - осуществляется на конкурсной основе для развития добросовестной конкуренции -выдаваемый государственными органами и оплачиваемый из средств государственного бюджета заказ на изготовление продукции, выпуск товаров, проведение работ, в которых заинтересовано государство

Общие требования к выполнению государственного социального заказа 1. Гласный характер (освещение в СМИ хода или итогов реализации программы) 2. Привлечение к участию в мероприятиях представителей исполнительной власти и депутатов маслихата 3. Обеспечение максимального участия в мероприятиях различных групп населения, общественных организаций

Заблуждение!!! Несвоевременное финансирование проекта не повод откладывать реализацию мероприятий! Один из негласных критериев выбора победителя по лоту – опыт выполнения социально-значимых проектов в определенном направлении Неправительственная организация работает не только за счет финансирования из государственного бюджета, она реализует свою социальную активность ( в соответствии с миссией и философией компании)

Опыт проведения мониторинга и оценки проектов НПО в Карагандинской области Проведение мониторинга и оценки областных проектов - с 2007 года, городских проектов – с 2010 года 3 этапа: - оценка заявок/проектов - проведение мониторинга мероприятий - оценка отчетов Презентация сводных итогов качества выполнения проектов НПО

Экскурс в «историю» 2007 год Оценка разработки проектов – 52 критерия (оценка процесса разработки, качества содержания и оформления проекта). Оценка реализации проектов – 68 критериев (качество процесса реализации, ориентация на результат, эффективность реализации, устойчивость полученных результатов) год Оценка разработки проектов – 11 критериев. Оценка реализации проектов – 34 критерия год Оценка разработки проектов – 11 критериев. Оценка реализации проектов – 18 критериев.

2007 год - Средняя оценка разработки проектов 3,59 (3 – 4,5)

2007 год - Средняя оценка реализации проектов 3,96 (3,2 – 4,8)

Анализ действующей практики оценки проектов / программ и международного опыта Изучены действующие механизмы оценки программ, а также не внедренные наработки: – Методика оценки программ, разработанная Центром маркетинговой- аналитических исследований Республики Казахстан – Бюджетный кодекс – Методика, разработанная консультантами АБР для Министерства экономики и бюджетного планирования в 2005 году Рассмотрено несколько зарубежных моделей оценки программ на стадии разработки: – Модель экспертной средневзвешенной оценки программ Всемирного банка - рейтинговый инструмент оценки программ США (Program Assessment Rating Tool, PART) – Методика формализованной оценки программ Российской Федерации (во многом схожа с PART) – Оценка с использованием логико-структурного анализа (впервые разработана и применена в США в 1985 году) Использован авторский опыт разработки и проведения оценки 300 государственных и отраслевых программ и проектов РК, выполненных в составе экспертного коллектива АО «Институт экономических исследований» по заказу МЭРТ РК в 2007 – 2012 годах

Оценка заявок проектов ( Требования технической спецификации ) Оценка по 5-ти бальной системе полноты содержания и точности формулировок по следующим блокам 1. Выявление проблем отрасли / сферы деятельности 2. Причинно-следственный анализ проблем 3. Диаграмма целей и задач 4. Оценка целеполагания 5. Определение индикаторов 6. Анализ альтернатив 7. Разработка программы на основе логической модели 8. Планы мероприятий в рамках проекта (место и план проведения, количество участников, поэтапное описание видов деятельности, ожидаемый результат) 9. Описание ожидаемых результатов от реализации проекта. 10. Предполагаемые практические рекомендации по итогам выполнения проекта для государственных органов, общественных организаций. 11. Описание опыта реализации социально-значимых проектов аналогичных предлагаемому проекту (приложить подтверждающие документы, например, договора, акты выполненных работ)

Механизм мониторинга реализации проектов посещается мероприятие или проводится пост событийный опрос опрашиваются благополучатели заполняются оценочные формы проводится анализ соответствия заявки проекта и отчета о мероприятии, предоставляемого НПО объективность мониторинга обеспечивается привлечением к оценки и опросам волонтеров (социальная активность волонтеров и благополучателей), представителей заказчика, представителей других НПО для соблюдения принципа триангуляции

Субъекты мониторинга и оценки Сотрудники организации, не принимающие участия в проекте Независимые специалисты Участники проекта ПРОЕКТ ОРГАНИЗАЦИЯ Внешняя Внутренняя Само-оценивание

Общие требования к подготовке отчетов о реализации проекта 1. Общие сведения о целях, задачах,сроках, количестве и месте проведения мероприятий и их соответствии социальному заказу 2. Анализ актуальности и значимости проведенных мероприятий (оценка степени решения проблем) и обоснование необходимости продолжения либо завершения проекта (предполагает наличие количественных и качественных индикаторов) 3. Подробный перечень и описание всех проведенных мероприятий, с указанием участников, рассмотренных вопросов 4. Освещение мероприятий в средствах массовой информации

Проведение оценки отчетов о реализации проектов Оценка проводится на основе представленных отчетов о мониторинге проектов, анализа мнений благополучателей, основных исполнителей (приглашенных тренеров и модераторов), изучения фактических документов о проведении мероприятий Механизм оценки реализован в электронной форме посредством расчета средневзвешенного балла по критериям, сгруппированным в два блока – Оценка процесса реализации проекта и Оценка качества реализации проекта. На выходе – оценка проекта по 5-балльной шкале и заключение о ее эффективности с рекомендациями к дальнейшим действиям

Раздел 1.1. Оценка продуктивности управления проектом/программой Критерий Наличие графика исполнения проекта/программы График реализации проекта разрабатывается перед началом проекта и служит показателем стабильности и эффективности распределения ресурсов по планируемым мероприятиям Критерий Своевременность исполнения проектных мероприятий (по срокам) При отклонении мероприятий по срокам в пределах одной недели может быть допустимым (оценка 4 балла), отклонения на большие сроки показывает неэффективное планирование и/или распределение ресурсов поставщика (материальных, временных, кадровых). При значительном временном отклонении в отчете указываются причины отклонений Критерий Полнота выполнения проектных мероприятий (по количеству) При определении оценки по данному критерию количество фактически проведенных мероприятий сопоставляется с запланированным количеством

Раздел 1.2. Ресурсное соответствие проекту / программе Критерий Кадровое соответствие критерий должен оценивать уровень квалификации и подготовки основных исполнителей по проекту. Уровень квалификации должен подтверждаться дипломами, сертификатами и другими подобными документами, прилагаемыми к отчету Критерий Техническое соответствие проводимые мероприятия должны быть полностью обеспечены заявленными в проекте техническими средствами (диапроектором, компьютерами, оргтехникой и т.п.) Критерий Качество используемой и раздаточной информации (актуальность и т.д.) оценка качества используемой информации оценивается как по отзывам (анкетированию) благополучателей, так и экспертным мнением оценщика

Раздел 2.1. Оценка результативности проекта/программы Критерий Степень достижения общей цели проекта/программы Оценка данного критерия производится путем сопоставления отзывов благополучателей и отчета поставщика с его проектом и положениями договора на оказание услуг Критерий Степень достижения целевых индикаторов мероприятий по проекту/программе Оценка данного критерия производится путем сопоставления фактически достигнутых целевых индикаторов с запланированным уровнем и положениями договора на оказание услуг Критерий Уровень удовлетворенности благополучателей услугой (продуктом, результатом) проекта/программы Оценка данного критерия производится на основании отзывов (анкетированию) благополучателей

Раздел 2.1. Оценка результативности проекта/программы Критерий Уровень удовлетворенности благополучателей процессом получения услуги (продукта, результата) по проекту/программе Оценка данного критерия производится на основании отзывов (анкетированию) благополучателей Критерий Степень охвата целевой аудитории Оценка данного критерия производится путем сопоставления фактической численности участников (благополучателей) проекта с запланированным количеством Критерий Информационное обеспечение хода реализации проекта в СМИ. Оценка данного критерия производится на основании копий публикаций, эфирных справок и подобных документов, прилагаемых к отчету

Раздел 2.2. Требования к отчету Критерий Наличие сопоставительного анализа ситуации до и после реализации проекта/программы. В отчете поставщик должен отразить, как мероприятия по проекту привели к решению поставленной проблемы, что изменилось в положении благополучателей после реализации проекта Критерий Представление практических рекомендаций по итогам реализации проекта/программы В отчете поставщика должны быть представлены основные рекомендации по решаемой в проекте проблеме, должны быть определены адресаты рекомендаций, а так же дана информация о предоставлении адресатам выработанных рекомендаций Критерий Использование факторологического материала (фотографии, видеосъемки и т.п.) Оценка данного критерия производится на основании фотографий, видеосъемки, эфирных справок и подобных документов, прилагаемых к отчету

Раздел 2.3. Полнота отчетов мониторинга проекта/программы Критерий Наличие системы мониторинга реализации проекта/программы Для эффективной реализации проекта в нем должна быть предусмотрена система мониторинга и определены основные сроки и индикаторы мониторинга Критерий Наличие процедур корректировки проекта/программы по результатам мониторинга и оценки В процессе реализации проекта могут возникнуть различные ситуации, препятствующие своевременной и полной реализации проекта. Своевременный мониторинг хода реализации проекта позволяет выявить признаки таких ситуаций, а так же предпринять необходимые действия по избежанию и/или выхода из ситуаций риска

Шкала диапазонов оценки и возможные действия в отношении проекта Диапазон оценки программы в баллах РейтингВозможные действия отдо* 1,01,8 Неэффективная реализация проекта Глубокая переработка: анализ цели, задач, мероприятий; доработка индикаторов; изменение цели; переориентирование на потребителей; отказ от принятия проекта 1,82,6 Эффективность ниже средней Требуется переработка: анализ цели, задач, мероприятий; доработка индикаторов; изменение цели; переориентирование на потребителей 2,63,4 Эффективность среднего уровня Доработка: корректировка задач и мероприятий, дополнительный анализ ситуации, анализ мнений потребителей, доработка индикаторов. 3,44,2 Эффективность реализации проекта выше среднего уровня Возможна незначительная доработка: корректируются индикаторы и мероприятия, дополняется анализ. 4,25,0 Высокоэффективная реализация проекта Возможна незначительная доработка по мере необходимости.