Алматы, 26 августа 2012 МОНИТОРИНГ И ОЦЕНКА С УЧАСТИЕМ ОБЩЕСТВЕННОСТИ Джамиля Асанова «Ассоциация Развития Гражданского Общества «АРГО» jamila@argonet.org. - презентация

1 Алматы, 26 августа 2012 МОНИТОРИНГ И ОЦЕНКА С УЧАСТИЕМ ОБЩЕСТВЕННОСТИ Джамиля Асанова «Ассоциация Развития Гражданского Общества «АРГО» 1

2 Для чего нужно проводить мониторинг и оценку Продолжить или прекратить проект Как можно улучшить программу Какие новые методы предоставления услуг могут быть добавлены в проект Каким образом можно создать подобный проект в другом месте Каким образом лучше распределить ресурсы между двумя подобными/конкурирующими программами 2

3 Оценка в управлении программой Контроль Получение нового знания Инспекция Выявление и предотвращение нарушений Аудит Проверка на соответствие Мониторинг Отслеживание хода программы по сравнению с планом на основании замера значений показателей (индикаторов) Оценка Анализ процесса выполнения программы, достигнутых результатов и причин отклонений от плана Исследование Получение нового знания, моделирование 3

4 ОЦЕНКА И АУДИТ (две разные контрольные функции) Оценка Рассматривает что и почему делают программы Способствует извлечению знаний из практического опыта Смотрит делаем ли мы именно то, что надо, делаем ли мы это экономически эффективно, и можно ли делать это лучше Рассматривает заинтересованные стороны как партнеров и вместе ищет пути усовершенствования Широко используются методы социальных наук, которые позволяют получать эмпирические данные о влиянии и результатах деятельности организации Аудит Рассматривает как организация использует свои активы для оптимизации работы по программе в соответствии с управленческими стандартами Смотрит на то, как мы работаем и соблюдаются ли управленческие правила Рассматривает каким образом заинтересованные стороны пытаются усовершенствовать программу Аудит берет начало от бухгалтерского учета и финансового менеджмента 4

5 Кто инициирует оценку Заказчик – тот, кто платит за оценку и является собственником ее документированных результатов (отчета). Внешняя (независимая) оценка Внутренняя оценка (участники программы - самооценка) Внутренняя оценка (другие сотрудники организации) 5

6 Виды оценки Проект Предварительная экспертиза Оценка: Промежуточная (диагностическая) Итоговая (финальная) Оценка воздействия создание Начало Завершение последствия 6

7 Нормы и стандарты оценки Интересы Ценности (этические нормы) Профессионализм (стандарты) Общепринятые правила: Беспристрастность Объективность Независимость Конфиденциальность Процесс оценки должен быть: Прозрачным Воспроизводимым Аккуратным и тщательным 7

8 Основные этапы проведения оценки программ 1.Постановка цели 2.Определение задания на проведение оценки 3.Планирование оценки. Определение методов и инструментов для сбора информации 4.Сбор информации 5.Анализ информации 6.Подготовка отчета 7.Презентация результатов отчета 8

9 1. Постановка цели Получение информации для принятия решений Заказчиком может быть организация – донор или исполнитель программы Важно, чтобы результаты оценки принесли пользу 9

10 2. Определение задания на проведение оценки Главным на этом этапе является постановка вопросов Вопросов не должно быть много Вопросы задания бывают общими 10

11 Основные вопросы оценки Определяют в общем виде то, что нужно оценить – на уровне отдельных элементов проекта, его внутренних процессов, результатов и т.п. Чаще всего вопросы касаются Устойчивости проекта Эффективности проекта (усилия / ресурсы / результаты) Полноты удовлетворения нужд клиентов Качества управления проектом и качество его выполнения 11

12 3. Планирование оценки. Определение методов и инструментов для сбора информации Расписание встреч и визитов (для работы с документами) Список людей, которым нужно написать или позвонить Создание и тиражирование расходных материалов Подготовка помощников Обеспечение командировок Выбор методов 12

13 4. Сбор информации Беспристрастное фиксирование данных Совокупность отдельных данных Триангуляция Собираются количественные и качественные данные 13

14 МЕТОДЫ СБОРА ИНФОРМАЦИИ ДЛЯ ПРОВЕДЕНИЯ ОЦЕНКИ Коммуникативные Наблюдение Анкетирование Интервью Мозговой штурм Круглый стол Текстологические Документы Учебники Литература 14

15 Стандарты сбора данных (источник Международная сеть «Оценка программ»/IPEN) Основой оценки программ может быть только точная и достоверная информация: При проведении оценки следует придерживаться определенных технических стандартов, позволяющих получать точную и достоверную информацию о предмете оценки Необходимо информировать клиента о возможных подходах к проведению оценки, а также о преимуществах и ограничениях этих подходов. Оценщик должен быть готов обсуждать, какое влияние могут оказывать используемые им методы на процесс оценки, ее результаты и выводы 15

16 Стандарты сбора данных (источник Международная сеть «Оценка программ»/IPEN) Исполнение работы по оценке должно быть компетентным: Специалисты по оценке программ должны гарантировать, что они обладают достаточным образованием, знаниями и навыками для выполнения задач, возникающих при проведении оценки Специалистам по оценке программ следут действовать в пределах их профессиональной компетентности и отказываться от проведения оценки, выходящей за эти пределы 16

17 Стандарты сбора данных (источник Международная сеть «Оценка программ»/IPEN) Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки: На стадии заключения контракта следует обсудить с клиентом цели и задачи оценки, стоимость работ, методы сбора информации и порядок использования результатов оценки Если в ходе проведения оценки происходят события, которые могу повлиять на заключительные результаты работы, следует своевременно информировать об этом клиента и все заинтересованные стороны Следует обращать внимание на ситуации, которые могут привести к возникновению конфликта интересов, и своевременно информировать об этом клиента 17

18 Стандарты сбора данных (источник Международная сеть «Оценка программ»/IPEN) Специалисты по оценке программ уважают безопасность и достоинства людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности: Оценка иногда приводит к отрицательным для своего клиента и заинтересованных сторон результатам. В таких случаях специалистам по оценке программ следует стремиться к минимизации вреда при условии, что этим не будет скомпрометирована честность оценочных заключений. Важно тщательно взвешивать необходимость проведения оценки в ситуациях, когда результаты оценки могут нанести вред отдельным людям или организациям. Следует проводить работу и сообщать о результатах с уважением к достоинству каждого заинтересованного лица. 18

19 Стандарты сбора данных (источник Международная сеть «Оценка программ»/IPEN) Специалисты по оценке программ уважают безопасность и достоинства людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности: Информация для проведения оценки должна предоставляться добровольно. Люди, представляющие такую информацию должны иметь полное представление о существующих рисках и том, как будет использоваться информация. Специалисты по оценке программ ответственны за уважение особенностей людей, причастных к оценке (культура, пол, религия, ограничения физических возможностей, возраст, сексуальная ориентация, этнические происхождения). Необходимо строго соблюдать условия конфиденциальности, оговоренные в контракте с клиентом. 19

20 Вопросы 1.«Закрытые» «ДА» или «НЕТ» Выбор варианта ответа Ответ с использованием шкалы 2.«Открытые» Дают человеку возможность ответить развернуто, сообщить свое мнение или отношение. 20

21 5. Анализ информации Собираются все факты Делаются выводы и затем рекомендации Рекомендации помогают принимать управленческие решения Ответы на вопросы задания 21

22 Анализ данных 1.Посоветуйся с людьми или участников проекта, если не знаешь как объяснить ситуацию; 2. Не торопитесь делать выводы, получите дополнительные данные. Если это не возможно лучше откажитесь от этой работы. 3. При анализе инновационных проектов необходимо помнить, что нет основания для сравнения, трудно сделать оценку. 4. Доверяй здравому смыслу! 5. Противоречия полученных данных могут быть связаны с нашими инструментами. 6. Быть осторожными при обсуждении с заказчиком промежуточных результатов. 7. Если заключение на основании полученных данных сделать не удается, то оставьте их заказчику и предоставьте ему выводы сделать сами 8. Если оснований и критериев нет, нужно их выработать или найти в инновационных проектах. 22

23 Результаты оценки Факты Интерпретация Выводы Рекомендации 23

24 Рекомендации Это совет активным участникам проекта, что и как поменять. Базовая рекомендация в том, чтобы спрашивать у участников проекта, как можно было бы изменить ситуацию Можно вовлечь экспертов, проводить специальные мероприятия Даже хорошая рекомендация должна быть адекватна Рекомендации должны соответствовать типу оценки Можно не просто давать рекомендации, а давать несколько вариантов и сопроводив прогнозами. В таком случае важно смоделировать и указать полюсы и минусы каждого варианта. Рекомендации не должны претендовать на решение всех проблем. Оценщик через рекомендации только сообщает свое мнение, а воспользоваться или нет – решает заказчик. 24

25 6. Подготовка отчета Форма отчета согласуется с заказчиком 7. Презентация результатов отчета Рассказ о результатах оценки Рассказать о положительных и отрицательных моментах 25

26 Устные презентации отчетов Сосредоточьте внимание на основных вопросах – ключевых сведениях, выводах и важнейших рекомендациях Как можно лучше подготовить наглядные пособия Можно подготовить раздаточный материал Оставить время для вопросов, очень внимательно выслушать, чем начать отвечать Делать пометки относительно всех вопросов. 26

27 Участие общественности в МиО Правовое поле в РК Указ Президента Республики Казахстан «О системе ежегодной оценке эффективности деятельности Центральных государственных и местных исполнительных органов власти областей, городов республиканского значения, столицы» (от 19 марта 2010, 954) Бюджетный кодекс ГЛАВА 21. Бюджетный мониторинг и оценка результатов Статья 113. Оценка результатов 3. При проведении оценки результатов используется информация неправительственных организаций (общественных объединений) о качестве предоставления государственных услуг, полученной на основании опроса их получателей. 27

28 РАЗДЕЛЕНИЕ РОЛИ И ФУНКЦИЙ ГОСУДАРСТВО Качественное оказание государственных услуг Выявление целесообразности и потребности в тех или иных услугах и приемлемости способов их оказания ОБЩЕСТВЕННЫЕ ОРГАНИЗАЦИИ Достоверная оценка деятельности государственных органов Обеспечение обратной связи 28

29 Почему общественность участвует в мониторинге и оценке программ Интересно и важно знать о расходах государства на образование, здравоохранение, пенсионное обеспечение, и другие вопросы. От этого зависит насколько мы будем образованными, здоровыми и.т.д Можно повлиять на то, чтобы быть более образованными, здоровыми, защищенными. 29

30 Смысл «общественного» в мониторинге и оценке: - процесс, инициируемый НПО; - результат удовлетворенности получателей услуг - отдельных групп населения. Общественный мониторинг и оценка рассматривается как: инструмент наблюдения за процессом,инструмент наблюдения за процессом, инструмент оценки и прогнозирования удовлетворенности результатами,инструмент оценки и прогнозирования удовлетворенности результатами, критерий принятия решений при выборе.критерий принятия решений при выборе. 30

31 Организация оценки программы на местном уровне ЭТАП 1 Организация деятельности общественного комитета/комитета общественного доверия в шести регионах Проведение обучения для заинтересованных сторон Создание базы данных экспертов Выбор программы для оценки 31

32 Организация оценки программы на местном уровне ЭТАП 2 Формирование технического задания Формирование и организация деятельности экспертов Организация сбора данных Проведение анкетирования благополучателей программ Проведение оценки реализации программы «Реализации молодежной политики в городе Шымкент на годы» 32

33 Организация оценки программы на местном уровне ЭТАП 3 Отчет по оценке эффективности реализации программ Презентация отчета оценки для членов общественных комитетов Краткая форма отчета для распространения заинтересованным лицам, организациям Организация общественных слушаний Разработаны 13 рекомендаций для администратора программы (отдел внутренней политики) Официальное письмо от руководителя местного исполнительного органа в общественный комитет о том, что по результатам оценки принято 7 из 13 рекомендаций (54%) 33

34 Механизм вовлечения общественности и экспертов в процесс оценки государственных программ Организация деятельности общественных комитетов/комитетов общественного доверия на основе утвержденного регламента и плана работ Включение оценки местных программ в тендеры, которые проводятся местными органами власти 34

35 МЕЖДУНАРОДНАЯ СЕТЬ «ОЦЕНКА ПРОГРАММ»/IPEN Международная конференция «Использование результатов мониторинга и оценки при принятии управленческих решений» АСТАНА сентября,

36 БЛАГОДАРЮ ЗА ВНИМАНИЕ! Джамиля Асанова «Ассоциация Развития Гражданского Общества «АРГО» г. Алматы, , Казахстан ул. Джандосова, 36 телефон: