ОТЧЕТНОСТЬ ПО РЕЗУЛЬТАТАМ М&О МОДУЛЬ 11

ОТЧЕТНОСТЬ ПО РЕЗУЛЬТАТАМ М&О Информация о рабочем процессе используется, как один из инструментов управления. Соответственно, необходимо собирать информацию о нем на основании мониторинга и оценки Оба могут предоставить нам беспрерывную и полезную обратную связь о продвижении/прогресса данного проекта, программы или политики Анализ информации является самым важным этапом, так как он обуславливает то, по чему будет производиться подотчетность, когда и для кого На данном этапе должна быть проведена техническая оценка возможностей организации, так как качество подотчетности зависит от методологии и возможностей сбора, обработки и анализа информации

ПРИМЕНЕНИЕ РЕЗУЛЬТАТОВ МОНИТОРИНГА И ОЦЕНКИ Демонстрация обязательств по подотчетности – отражение выполнения условий, которые были даны гражданам и другим группам по интересам Убеждение – применение результатов в качестве доказательств Образование – подотчетности по результатам, для институционального образования/опыта организации Исследование – изучение того, что работает/оправдывает, и что нет, и почему Документирование – развитие институциональной памяти Вовлеченность – вовлеченность групп по интересам Получение поддержки – демонстрирование успеха для получения поддержки со стороны групп по интересам Информирование – подотчетность по результатам с целью повышения сознания о проектах, программах и политике Доклады по оценке используются по многим назначениям. Однако их основным назначением является «обеспечение необходимой информацией» – информирование соответствующей аудитории о заключениях, полученных в результате анализа и интерпретации собранной информации ((Adapted from Worthen, Sanders, and Fitzpatrick 1997.) Cited as in: Kusek, J.Z., Rist, R. C. (2004).Ten Steps to a Results-based Monitoring and Evaluation System (A Handbook for Development). The World Bank, Washington DC, p. 130

ПОЗНАКОМЬТЕСЬ СО СВОЕЙ АУДИТОРИЕЙ Познакомьтесь со своей аудиторией и изучите, каким образом они желают получить информацию. Необходимо учесть интересы, ожидания и желательные медии коммуникации аудитории. Вы должны разработать стратегию коммуникации, которая предусматривала бы следующие вопросы: Кто получит информацию,? В какой форме? Когда? Кто подготовит информацию? Кто предоставит/презентует информацию?

БЕСПРЕРЫВНАЯ ОБРАТНАЯ СВЯЗЬ Из-за того, что назначением системы информации является обеспечение информации о деятельности, как инструмента управления, также важен и процесс коммуникации Важно беспрерывное распространение результатов мониторинга и оценки, с целью обеспечения обратной связи для принимающих решение. Стратегия коммуникации должна состоять как из неформальных (телефон, электронная почта, факс, беседа), так и формальных (брифинги, презентации, письменные доклады) методов коммуникации. Информация должна быть представлена в кратком и понятном формате, который был бы приемлем для целевой аудитории Представлена должна быть лишь важная информация

ОТЛИЧИЯ Если в проекте, программе или политике участвует несколько различных аудиторий – может быть необходимость пакетирования и форматирования информации в различных видах, в соответствии с индивидуальными интересами каждой группы В стратегию коммуникации должны быть отражены сложности, связанные с предоставлением информации различным группам по интересам Например, в какой форме представите информацию о результатах Политики многоязычного образования государственным служащим, руководителям программы, учителям и родителям? В одинаковом формате форме? Одну и ту же информацию? Также должны предусмотреть пути предоставления информации для более широкой аудитории

ЧЕГО ЖДУТ ПРИНИМАЮЩИЕ РЕШЕНИЯ ОТ ОЦЕНКИ? Их может интересовать, выявлена ли в результате исследования необходимость в каких-либо специфических действиях Их также заинтересуют различные варианты необходимых действий, выявленных в результате мониторинга и оценки (расходы, положительные и отрицательные стороны и т.д.) Очень важно подчеркивать значение рекомендованных практических применений на протяжении всего процесса мониторинга и оценки. Также важно оказать информационную поддержку принимающим решение в процессе осуществления рекомендаций на практике (практическое применение, расходы и т.д.) С целью обеспечения лучшей обратной связи и дальнейшей применяемости результатов, важно, чтобы заинтересованные стороны и оценщики работали бы вместе, и совместно обсуждали бы результаты, мнения, альтернативы и дальнейшие шаги.

ВАЖНОСТЬ СРАВНЕНИЙ Очень важно сравнение информации о деятельности в различных отрезках времени. Предоставление информации в определённый квартал или год в отдельности не дает пользы. Для определения тенденций необходимо установить базовые индикаторы. Всегда сравнивайте в отчёте базовые и промежуточные измерения индикаторов, чтобы оценить, были ли сохранены в полной мере успех/результаты, сохранились частично или достигнутые в начале улучшения исчезли полностью? Сравнение полученных результатов (индикаторов) с намеченными задачами представляет собой важную часть отчётности результатов.

ПРИМЕР Таблица 8.1 Формат подотчетности по результатам: сравнение реальных результатов с намеченными/целевыми результатами Индикатор результата Базовый (процент) Текущий (процент) Целевой (процент) Отличие (процентное) Показатель гепатита (N = 6000) Количество детей с улучшенным здоровьем (N = 9000) Количество детей, которые на 4 из 5 исследований получают положительный ответ (N = 3500) Количество детей с улучшенным питанием (N = 14,000) Источник: Образец данных 2004 Cited as in:Kusek, J.Z., Rist, R. C. (2004).Ten Steps to a Results-based Monitoring and Evaluation System (A Handbook for Development). The World Bank, Washington DC, p.133

ПРЕДСТАВЛЕНИЕ ИНФОРМАЦИИ В ПРОСТОЙ И ПОНЯТНОЙ ФОРМЕ Подотчетности может подлежать следующая информация: Вклады или доходы – расходы и полученные доходы проекта, программы или политики Необработанные цифры – ранние индикаторы, допущения, грубые прогнозы и цифры и т.д. Проценты (например, % населения, которое обслуживает проект) Статистические тесты Отделы, организации (участие в проекте) География проекта Демография проекта Уровень удовлетворенности потребителей – высокий, средний, низкий

ОТЧЕТНОСТЬ ПО ИТОГАМ Информации должна подаваться в простом и понятном формате Подотчетности должна подлежать лишь самая важная информация Избегайте акронимов и жаргонов Необходимо включить минимальную информацию о существующем контексте Самая важная информация должны быть помещена в начало Открытия и рекомендации должны быть расписаны вокруг каждого результата и соответствующих индикаторов. Можно добавить отдельные приложения с целью предоставления подробной информации

ФОРМЫ ПОДОТЧЕТНОСТИ Подотчетность возможно осуществить в четырех формах: письменное резюме, итоговое резюме, устная или визуальная презентации С целью обеспечения его применяемости письменное резюме должно содержать: Введение (предназначение доклада, вопросы оценки, контекст программы, цели и задачи программы) Описание оценки (фокус, методология и её ограничения, кто выполнил оценку и когда произведена оценка) Подотчетность по информации должна быть произведена выборочно и понятно; необходимо организовать информацию в соответствии со сферами исследования, основными вопросами и программными компонентами; должны быть использованы графики и таблицы Заключения понятным образом должны быть связаны с собранной информацией/подтверждением деятельности Рекомендации должны поддерживаться доказательствами

Итоговое резюме Итоговое резюме должно быть кратким (от 1 до 4 страниц) Основные открытия и рекомендации должна подаваться в виде отдельных кратких параграфов Для читателей можно указать источники для более подробной информации Должен содержать краткий обзор контекста, включая назначение исследования и цели обзора Также должен содержать краткий обзор основных вопросов, тем и методологии Обычно очень полезен для информирования широких масс населения (а также для высокопоставленных служащих)

УСТНАЯ ПРЕЗЕНТАЦИЯ Возможна также устная презентация информации, как отдельно, так и при помощи письменного доклада Вместе с репетициями презентации и сбором обратной связи необходимо предусмотреть и следующие аспекты: Состав аудитории Что вы хотите, чтобы запомнила аудитория? Сколько времени у вас для презентации? Какими ресурсами для презентации обладаете? Какие печатные материалы необходимо раздать (или нет необходимости)? Устные презентации – аналогично письменным докладам – должны быть простыми, понятными и подстроенными под конкретную аудиторию Избегайте комплексной терминологии и детальной информации В случае возможности, используйте интерактивный формат и также учтите, что представляющий (презентацию) должен быть готов к вопросам

ВИЗУАЛЬНАЯ ПРЕЗЕНТАЦИЯ Визуальная презентация – таблицы, диаграммы, графики, карты – помогут вам подчеркнуть важные вопросы. Они могут визуально отразить тенденции и направления. Существуют различные виды диаграмм и графиков, которые должны быть предусмотрены в ходе представления доклада аудиенции (Гистограммы, Графики, Круговые диаграммы, Линейчатые диаграммы, Диаграммы с областями, Точечные диаграммы, и т.д.) Назначением таблиц и графиков является описание, исследование, подсчет и сравнение информации Таблицы и графики могут способствовать возбуждению визуального интереса и содействовать принимаемости и запоминаемости информации со стороны аудитории, а также отражать более широкие картины. Таблицы и графики должны быть составлены просто, аккуратно и точно. Они должны стимулировать вовлечение аудитории !!! Таблицы обычно используются для представления информации и разъяснения изменений, сравнений и связей Графики эффективны в донесении идеи. Очень полезны для символического представления организационной структуры, тенденций, информации, для презентации концепций и идей, нумерической информации в визуальном формате и т.д.

Эффективность таблиц и диаграмм Простота и точность Четкое обозначение строк и столбцов с без сокращений Проценты округляются до ближайшего целого числа Общее количество Источник данных.

Conceptual Map of Our Hypothesis High Low Resource Measure Achievement Measure more resources, higher achievement less resources, lower achievement more resources, lower achievement less resources, higher achievement 5 years later or different condition? Dear interpreter, please do not translate the next five slides with graphs !

Hypothesis continued… Contextual Condition RuralUrban

Distribution of Students Math Exam Result (Grade 12) by Regions in Latvia % 50% legend Why do regions perform differently?

Correlation between Exam Result and Budget Per Student Nationally expected budget Nationally expected math achievement Lower budget and higher achievement higher budget and higher achievement lower budget and lower achievement higher budget and lower achievement

12.14 Контингент учащихся (а), профессионально-подготовительные курсы – 2008 Пример данных о ПТО Австралии, 2008 МужчиныЖенщиныЛица (б) Области образования'000 Естественным и точным наукам3,14,37,4 Информационная технология29,912,242,0 Инженерные и связанных с ним технологий 305,135,7340,9 Архитектура и строительство131,89,8141,7 Сельского хозяйства, охраны окружающей среды и соответствующих исследований 63,120,583,7 Здоровье43,161,3104,4 Образование24,135,059,2 Управления и коммерции154,4266,7421,4 Общество и культура55,0153,8209,0 Искусство20,831,352,1 Продукты питания, гостеприимства и персональных услуг 84,2135,1219,4 Смешанные программ на местах158,9186,7346,0 Всего учащихся ()952,

Сумирование информации Участие мужщин были наиболее доминирующим в областях образования архитектуры и строительства (93%), машиностроения и технологий (89%), сельского хозяйства, охраны окружающей среды и соответствующих исследований (75%) и информационных технологий (71%). С другой стороны, женщины составляют большинство в таких областях, какобщество и культура (74%), управление и торговля (63%), продукты питания, гостеприимства и персональных услуг (62%), искусство (60%), здравоохранение (59% ), образование (59%), а также естественные и физические науки (58%).

ПОДОТЧЕТНОСТЬ ПО НЕГАТИВНЫМ РЕЗУЛЬТАТАМ Невозможно управлять проектом/программой путем приемлемости лишь положительной информации Целью системы оценки деятельности является выявление проблемы – а не только «донесение хороших новостей», что является одним из политических аспектов системы М&О, ориентированной на результаты Подотчетность по негативной информации является очень важным аспектом того, каким образом отличаете успех от неуспеха. Если невозможно найти различий, выходит, что руводители поощряют одинаково как успех, так и неуспех Хорошо составленная система выполняет роль сигнализации в случае проблем Доклад также должен охватывать (в случае такой возможности) причины неуспеха и должен предлагать те шаги, которые необходимо будет сделать для урегулирования проблемы

СТРАТЕГИИ ОБМЕНА ИНФОРМАЦИЕЙ Система М&О должна содержать план коммуникации План слаженной коммуникации крайне важен для обмена информацией с заинтересованными сторонами Информация о результатах должна обмениваться между всеми внутренними и внешними заинтересованными сторонами и другими заинтересованными лицами Чем больше заинтересованных сторон будут участвовать в процессе планирования последующих шагов, тем больше будут шансов на то, что они реально станут внедрять полученные в результате оценки рекомендации на практике Наличие стратегий обмена информацией, подходящей конкретной группе по интересам, также может быть полезным Решающее значение придается тому, насколько вы хорошо знакомы с целевой аудиторией, и насколько понимаете их. Стратегии коммуникации обязательно должны подбираться индивидуально к каждой аудиенции – парламент, министры, СМИ, частный сектор, неправительственные и гражданские организации, общество

АКТИВНЫЙ И ПАССИВНЫЙ ПОДХОД К ПРИМЕНЕНИЮ ИНФОРМАЦИИ О РЕЗУЛЬТАТАХ Активный подход: Формальные обсуждения (регулярно спланированные встречи, на которых происходит оценка работы программы) Вовлеченность старшего руководства (проведение формальных обсуждений, или прямое участие в процессе мониторинга) Неденежные награды (с целью публичного признания заслуг) Пассивный подход: Контракты (соглашение между руководством и персоналом по задачам, что подразумевает проведение оценки персонала в конце каждого контрактного периода) Коллегиальный пресс (создание системы баллов для оценки деятельности различных отделов и их публикование, чтобы стало возможным сравнение этих отделов друг с другом) Публичный выговор или признание Денежные награды (ожидание получить денежное вознаграждение в случае достижения намеченных целей) Adapted from: Kusek, J.Z., Rist, R. C. (2004).Ten Steps to a Results-based Monitoring and Evaluation System (A Handbook for Development). The World Bank, Washington DC, p.147