РАЗРАБОТКА ПЛАНА ДЛЯ ОСУЩЕСТВЛЕНИЯ УПРАВЛЕНИЯ И ПРОВЕДЕНИЯ ОЦЕНКИ НА ОСНОВЕ РЕЗУЛЬТАТОВ РАБОТЫ КАЗАНЬ, TATAРСТАН РОССИЙСКАЯ ФЕДЕРАЦИЯ 25–26 июня 2009 года. - презентация

1 РАЗРАБОТКА ПЛАНА ДЛЯ ОСУЩЕСТВЛЕНИЯ УПРАВЛЕНИЯ И ПРОВЕДЕНИЯ ОЦЕНКИ НА ОСНОВЕ РЕЗУЛЬТАТОВ РАБОТЫ КАЗАНЬ, TATAРСТАН РОССИЙСКАЯ ФЕДЕРАЦИЯ 25–26 июня 2009 года

2 2 Информация преобразует Информация, которая дает клиентам программы знания о достижениях или их отсутствии, преобразует и организацию и ее членов. По отдельности и коллективно мы очень быстро переориентируемся от простого выполнения работы и измерения эффективности к достижению пользы для клиентов и оказанию воздействия на жизнь общества, к отслеживанию результатов продвижения по этому пути для обеспечения достижения этих целей. То, что можно измерить – реально реализуется. Если не измеряются результаты, невозможно отличить успех от неудачи. Если не видно успеха – за него невозможно вознаградить. Если невозможно вознаградить за успех, тогда возможно вознаграждается неудача. Если не видно успеха, на его опыте невозможно учиться. Если невозможно увидеть неудачу, ее невозможно выправить. Если невозможно продемонстрировать результаты, невозможно завоевать общественную поддержку. Из книги «Вновь изобретая правительство», авторы: Осборн и Гэблер ( Reinventing Government by Osborne and Gaebler)

3 3 План работы Введение Подготовка профиля программы Рабочая сессия по логической модели Рабочая сессия по показателям эффективности Рабочая сессия по выбору стратегии оценки Рабочая сессия по плану оценки Рабочая сессия по стратегии отчетности Общая дискуссия и заключительные соображения

4 4 Введение Структура и процесс семинара Формат семинара Определение управления эффективностью Элементы ориентированного на эффективность управления и план оценки Полезность ориентированного на эффективность управления и плана оценки Принципы разработки плана

5 5 Структура и ход работы семинара Ход семинара будет направляться содержанием розданных информационных материалов Во время семинаров в качестве конкретных примеров будут рассмотрены три российские программы На семинарах будут разработаны последовательные элементы плана, каждый последующий элемент будет являться развитием предшествовавшего Участники разобьются на рабочие группы, выберут ведущего, ответственного за ведение протокола, ответственного за временной регламент и докладчика Координатор учебного процесса отвечает за то, чтобы каждый участник семинара получил равные с другими возможности высказать свое мнение и участвовать в процессе коллективного принятия решений. Все рабочие группы будут рассматривается различные конкретные случаи Результаты работы записываются на флипчарте/доске

6 6 Формат семинара Представляются базовые концепции, теория и процесс по каждому элементу плана (30 минут) Рабочие группы используют практические примеры, к которым применяются полученные на семинарах знания (30 минут) – будет оказана помощь Одна рабочая группа представит результаты своей работы, затем последует общая дискуссия и вопросы всех участников для прояснения усвоенного (15 минут) Цель семинара – обучение путем применения концепций, а не получение «правильного ответа» - потому что часто одного правильного ответа не существует, все зависит от контекста и от того, каким образом используется разрабатываемый план

7 7 Управление эффективностью Процесс и система ценностей, в центре которой – потребности и ожидания граждан, которая отвечает на запросы/ потребности общества и подотчетна перед гражданами Эффективное планирование Постоянное обучение и совершенствование Оперативность и подотчетность n Отчетность о реализации n Вовлечение заинтересованн. сторон n Управление программой n Сбор информации n Анализ данных n Измерение эффективности n Совершенствование реализации программы n Оценка n Сфокусировано на итоге n Определяются задачи n Рассматриваются альтернативы n Совершенствуется структура программы Информация об эффективности деятельности

8 Необходимые для управления результатами работы компоненты Корпоративная культура организации –открытость, прозрачность –децентрализованные полномочия –в центре внимания стоят результаты, а не неукоснительное соблюдение правил и процедур –высокая степень толерантности рисков и ошибок Инфраструктура руководства и рабочие процессы –«архитектура программных мероприятий/план –финансовые системы –системы управления информационными потоками –руководящие принципы управления результатами работы Знания, умения и навыки –хорошо обученные опытные кадры

9 9 Элементы управления, ориентированного на эффективность деятельности и стратегии оценки Описание программы и структура управления ею Логическая модель / цепочка результатов * Стратегия постоянного измерения эффективности* Стратегии проведении оценки* и план* Стратегия оценки* Стратегия отчетности* Расходы / варианты реализации плана / стратегии * Будут разработаны в ходе семинаров

10 10 Польза ориентированного на эффективность управления и плана оценки Способствует усилению взаимопонимания между партнерами о том, чего они хотят достичь, как планируют совместно работать для достижения своих целей и как они будут измерять результаты и представлять по ним отчетность Является инструментом совершенствования управления, обучения и подотчетности в течение всего жизненного цикла программы, политики или инициативы На раннем этапе показывает, логично ли построена политика, программа или инициатива, достаточно ли она сфокусирована на результате и имеет ли она хорошие шансы на успех.

11 11 Принципы разработки плана управления, ориентированного на эффективность деятельности и план оценки План должен быть приспособлен конкретно к использованию в целях управления программой - для принятия стратегических решений, управления текущими операциями и учитывать эффективность программы Необходимо, чтобы план при разработке был согласован с партнерами, клиентами и другими заинтересованными сторонами - чтобы все понимали и приняли задачи программы и свою ответственность за их достижение В центре изучения - итоги и показатели работы, а не на внутренние функции и процессы программы Постоянная разработка и совершенствование плана по мере накопления опыта в ходе его реализации – с самого начала разработать совершенный план трудно - он не должен быть статичным инструментом, но должен быть гибким и адаптируемым под реалии программы

12 12 Разработка профиля программы... Предыстория и обоснование –Действия, которые привели к разработке программы –Зачем нужна программа –Отношение к общим приоритетам правительства –Какие проблемы или вопросы она призвана решить –Определение проблемы и запланированные результаты – это две стороны одной медали. Они полезны при разработе структуры программы Мандат и цели –Нормативные или иные полномочия (политическое или административное решение) по программе –Цели и ожидаемые результаты или итоги

13 13 Структура управления –Контроль или руководство программой –Ответственность за управление инициативой и достижение результатов –Взаимоотношения между различными игроками, участвующими в реализации программы Подход к реализации –Как будет работать программа в целях достижения ее результатов Целевая группа населения –Группы или индивидуумы, которых будет обслуживать программа –Характеристики и численность целевой группы населения Уровень ресурсов (персонал, финансы, прочие активы) –По основному компоненту или виду деятельности программы –Распределение или прохождение ресурсов по времени...Разработка профиля программы

14 14 Логическая модель Обзор на семинаре... Определение «логической модели» Примеры простых логических моделей Смысл применения логических моделей Основые понятия Практическое занятие по разработке логической модели

15 15 Что такое логическая модель или цепочка результатов? Схема или график, на котором показано как работает программа, политика или инициатива Иллюстрирует теорию, лежащую в основе программы и ее дизайна Показывает связи или цепочку результатов между деятельностью в рамках программы, продуктами или предоставляемыми услугами и ее эффект на изменение положения граждан или ее ценность для граждан Формирует «тезис» или концептуальный ориентир по которому будет измеряться и оцениваться реальная работа программы.

16 16 Базовая логическая модель ЭАТРАТЫ ИЛИ РЕСУРСЫ ЭАТРАТЫ ИЛИ РЕСУРСЫ ДЕЯТЕЛЬ- НОСТЬ ПРОДУКТ (ПРОДУКТЫ И УСЛУГИ) ПРОДУКТ (ПРОДУКТЫ И УСЛУГИ) НЕПОСР. РЕЗУЛЬТАТ (ЭФФЕКТ НА КЛИЕНТОВ) НЕПОСР. РЕЗУЛЬТАТ (ЭФФЕКТ НА КЛИЕНТОВ) ПРОМЕ- ЖУТОЧНЫЕ РЕЗУЛЬТАТ (ИЗМЕНЕ-НИЕ В ПОВЕДЕ- НИИ) ПРОМЕ- ЖУТОЧНЫЕ РЕЗУЛЬТАТ (ИЗМЕНЕ-НИЕ В ПОВЕДЕ- НИИ) ОКОНЧА- ТЕЛЬНЫЕ РЕЗУЛЬТАТ (ИЗМЕНЕ-НИЕ В ПОЛОЖЕ- НИИ ДЕЛ ОКОНЧА- ТЕЛЬНЫЕ РЕЗУЛЬТАТ (ИЗМЕНЕ-НИЕ В ПОЛОЖЕ- НИИ ДЕЛ РЕЗУЛЬТАТИВНОСТЬ ЭФФЕКТИВНОСТЬ ВНЕШНИЕ ВОЗДЕЙСТВИЯ ПАРТНЕРЫ, ДРУГИЕ ПРОГРАММЫ, СОЦИАЛЬНЫЕ И ЭКОНОМИЧЕСКИЕ ФАКТОРЫ И Т. П.

17 17 Простая логическая модель укрепления здоровья населения ДЕЯТЕЛЬНОСТЬПРОДУКТРЕЗУЛЬТАТЫ Исследования, мониторинг, анализ и распростране- ние информации Исследования, мониторинг, анализ и распростране- ние информации Информация о здоровье предоставля- емая клиентам и партнерам Информация о здоровье предоставля- емая клиентам и партнерам Клиенты и партнеры лучше информирова- ны о проблемах здоровья Клиенты и партнеры предпринима-ют действия по сохранению и укреплению здоровья Улучшения в сост. здоровья населения, сокращение неравенства в сост. здоровья в конкретных группах клиентов Уровень усилий ($) по каждому виду деятельности Уровень усилий ($) по каждому виду деятельности Число охваченных клиентов % от клиентской группы охваченного населения Число охваченных клиентов % от клиентской группы охваченного населения % от клиентской группы охваченного населения которое понимает посыл % от клиентской группы охваченного населения которое понимает посыл % от клиентской группы населения которое предпринима-ет действия Изменения в состоянии здоровья клиентского населения Снижение затрат системы здравоохране- ния Изменения в состоянии здоровья клиентского населения Снижение затрат системы здравоохране- ния ФОРМИРУЮЩИЕСЯ КЛЮЧЕВЫЕ СРЕДСТВА ОЦЕНКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ

18 18 Модель сфер воздействия СОСТОЯНИЕ ДЕЙСТВИЕ Затраты Деятельн. Продукт Целевая группаРезультаты ИЗМЕНЕНИЕ В ПОВЕДЕНИИ > Состояние здоровья (смертность, заболеваемость) > Риски Прямой контроль Прямое воздействие Косв. воздействие КАК КТО И ЧТО ЗАЧЕМ > Затраты > Своевремен- ность > Колич. > Кач. > Осознание > Принятие > Способность > Принятие/действие Долгосрочные результаты Источник – Министерство транспорта Канады и Стив Монтагю, фирма PMN Inc

19 19 Презентация типичной логической модели Затраты Деятельность Продукт Непосредств. результат Промежуточн. результат Окончательн. результат Деятельность 1 Деятельность 2 Деятельность 3 Деятельность 4 Эффективность Результатив- ность Продукт 1 Продукт 2 Продукт 3 Непосредств. итог 1 Непосредств. итог 1 Непосредств. итог 2 Непосредств. итог 2 Промежуточные итоги Окончательные итоги Общая логическая модель

20 Общая логическая модель для программ по развитию нормативного поля Проверка и нормоприменение Проверка и нормоприменение постоянное общение со всеми участниками процесса постоянное общение со всеми участниками процесса нормотворчество Нормативные акты актыНормативные Проверка и действия по нормоприменению Проверка и действия по нормоприменению Результат обмена информацией Результат обмена информацией Информация о требованиях и рисках доведена до сведения всех участников Информация о требованиях и рисках доведена до сведения всех участников Субъекты нормативных актов Поведенческие изменения Субъекты нормативных актов Поведенческие изменения Соблюдение правил и норм Соблюдение Социальное и экономическоеблагоденствие экономическоеблагоденствие Безопасность и стабильность стабильностьВысококачественная окружающая среда Высококачественная МЕРОПРИЯТИЯ ВВОДИМЫЕ РЕСУРСЫ НЕПОСРЕДСТВЕННЫЕ ИТОГИ ДЕЯТЕЛЬНОСТИ СРЕДНЕСРОЧНЫЕ ИТОГИ КОНЕЧНЫЕ РЕЗУЛЬТАТЫ

21 21 Польза логической модели Если не можешь что-то описать, то не можешь и измерить Простые средства описания и доведения до адресата сути дизайна программы и ее работы Инструмент дизайна или совершенствования программы – тестирует логику связей программы Помещает программу в более широкий контекст – внешние факторы, партнеры, другие программы Направляет выявление ключевых средств измерения эффективности и вопросов для оценки

22 22 Основные определения Затраты: ресурсы, используемые для осуществления деятельности, создают продукт и обеспечивают достижение результатов. Например, затраченные денежные суммы. Деятельность: операция или действие, в результате которого производится товар или услуга (продукт). Например, исследования, анализ, проверка, распространение информации, разработка политики, подготовка и обучение. Продукт: товары или услуги, произведенные или непосредственно контролируемые организацией. Например, информация о здоровье, положения, правила, соглашение о гранте или взносе. Результаты: Последствия политики, программы или инициативы, которые реально могут быть увязаны с деятельностью или продуктом. Могут характеризоваться по многим различным аспектам – как правило непосредственные, промежуточные и окончательные. Например, более широкое использование информации, укрепление потенциала и возможностей, улучшение состояния здоровья.

23 23 Семинар по разработке логической модели... Участники семинара подразделяются на рабочие группы и выбирают программу, с которой они будут работать Сформировать рабочую группу и выбрать ведущего, ответственного за ведение протокола, ответственного за соблюдение временного регламента и докладчика Определить и перечислить мероприятия в рамках программы Определить и записать продукты «на выходе» каждого мероприятия программы Определить и перечислить продукты (услуги), разбить их по категориям: непосредственные, среднесрочные и конечные

24 24...Семинар по разработке логической модели Разработать цепочку логических непосредственных и промежуточных итогов, вытекающих из каждого продукта и приводящих к окончательному итогу Начертить на перекидном планшете цепочку логической модели/результатов, показав связи между различными видами деятельности, продуктом и непосредственными, промежуточными и окончательными результатами Определить внешние факторы или воздействия, которые могут оказать позитивное или негативное влияние на цепочку результатов Подготовить краткую презентацию о результатах вашей работы и о том, что оказалось выполнить легко, а что – трудно. * В случае выявления множества желаемых результатов или нехватки времени, сконцентрировать усилия на разработке плана по достижению нескольких наиболее важных конечных продуктов при разработке полной логической цепочки

25 25 Обзор семинара по показателям эффективности Что такое стратегия измерения эффективности? Принятие решение о том, что подлежит измерению Что такое показатели эффективности? Спектр показателей эффективности Типы данных, используемых в показателях эффективности Источники данных и методы сбора данных Семинар по стратегии замера эффективности

26 26 Что такое стратегия замера эффективности ? Стратегия постоянного сбора и анализа данных, помогающая управлять текущими операциями по программе –Что подлежит измерению (деятельность, выход, итоги, внешние воздействия базирующиеся на логической модели)? –Каким образом производить измерения (показатели, источники данных, методы и частотность сбора, ответственность за сбор данных)? –Каким образом и кто будет анализировать данные?

27 27 Решение о том, что будет измеряться... Определить потребности в информации по эффективности … –Планирование – постановка задач и целей, распределение ресурсов, альтернативы –Эффективное управление – ход мониторинга, оценка затрат, корректировка в середине пути, совершенствование –Отчетность и подотчетность – годовые отчеты, результативные контракты То что измеряется и включается в отчетность - делается

28 28 Решение о том, что будет измеряться... Определить потребности в информации об эффективности …. –Определить параметры качества, которым должна удовлетворять информация об эффективности – точность, достоверность, актуальность –Определить – когда требуется информация об эффективности (частотность сбора) Ранжировать по приоритетности (сразу все делать невозможно) –Критически важная, важная, неплохо бы иметь –Освещение ключевых цепочек результатов в логической модели –Освещение в оценке эффективности

29 29 Что такое показатели эффективности? Качественная или количественная характеристика или значение, используемая для измерения эффективности работы Дает критерии для оценки успешности или реализации по стандарту или в сравнении с заявленными ожиданиями Направляет процесс определения типа данных, которые следует собирать Помогает более точно определить и интерпретировать элементы логической модели

30 30 Набор показателей эффективности... Внутренние операции в программе Затраты (ресурсы) –денежные средства, рабочее время сотрудников –капитальные объекты –информация, услуги (предоставляемые другими) Деятельность (процесс) –рабочая нагрузка – новая, в процессе –темпы прохождения, продолжительность процессов Продукт (услуги) –количество – объемы, число обслуженных клиентов –качество – стандарты, удовлетворенность клиентов –своевременность –затраты на единицу

31 31 Набор показателей эффективности... Внешние воздействия и следствия Итоги (непосредственные/промежуточные – изменение поведения) –целевая аудитория, клиентская группа населения –осведомленность - принятие –способность - принятие/действие –может быть продуктом третьей стороны Результаты (окончательные – изменение состояния) –социальное, экономическое благополучие Внешние факторы (влияние/эффект) –другие программы –партнеры, сотрудничающие –другие социальные и экономические факторы

32 32...Набор показателей эффективности Эффективность Отношение затрат к продукту –затраты на единицу продукции –изменения в объеме продукта, времени прохождения процесса или услуги Результативность Степень достижения цели, удовлетворения потребностей или решения проблем (абсолютная или относительная) Соотношение затрат и результатов (рентабельность) Детали содержатся в Приложении A – примеры родовых показателей эффективности

33 33 Типы данных, используемых в показателях эффективности... Качественные: информация, получаемая из собеседований, анкет, отчетов и наблюдений по программе, в устном или повествовательном формате –Примеры: заметки по собеседованиям о соображениях или реакциях адресатов программ, результаты опросов которые характеризуют полезность продукта, изучение конкретных примеров, содержащее описание воздействия программы Количественные: цифровая информация, получаемая из источников данных, закодированная в серии цифровых значений –Примеры: рейтинги проверок, число и тип проведенных медицинских анализов, затраченные суммы, число подавших заявление на охват программой, адресатов программы, %охваченного населения из целевой группы

34 34...Типы данных, используемых в показателях эффективности Данные могут быть организованы по времени получения –Базисные данные собираются в один момент времени и используются как сверочный ориентир в будущих измерениях –Текущие данные измерений эффективности деятельности собираются регулярно по затратам, деятельности, продукту и результатам, а также по внешним влияниям для оценки процессов и итогов –Оценочные данные собираются периодически и используются как дополнение к базисным и текущим данным при проведении углубленной оценки программы, политики или функции

35 35 Источники данных и методы сбора Административные системы и записи Собеседования Группы для тематического опроса Сравнительные исследования (сравнительные, референтные группы) Анкеты, опросы Целевые исследования Прямые наблюдения Обзоры документов Обзоры литературы Экспертные заключения Вторичные данные (национальные статистические агентства, организации ООН и т.п.)

36 36 Рабочая сессия по стратегии измерения эффективности деятельности Продолжение в составе тех же самых рабочих групп Использовать программу и логическую модель, что и в предыдущем семинаре Выбрать одну цепочку результатов или поток в логической модели Определить для каждого результата программы (продукт и результат) –Показатель эффективности –Источник данных –Метод сбора данных –Переодичность сбора данных Представить результаты, используя таблицу на следующем слайде – слайд 37 Определить показатели эффективности для внешних факторов или воздействий, которые могут оказать позитивное или негативное влияние на цепочку результатов (факультативно) Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно

37 37 Таблица измерения эффективности деятельности Продукт/ результат Показатель Источник данных Метод сбора Периодичнос ть сбора инф Продукт 1 Продукт 2 Непосредствен- ный результат Промежуточный результат Окончательный результат

38 38 План оценки программы (A): Обзор стратегии и вариантов выбора Что такое стратегия оценки программы Типы оценки Механизмы оценки и анализа Рабочая сессия по стратегиям и вариантам выбора

39 39 Что такое стратегия оценки программы... Определяет типы оценки, которые следует проводить, когда и при каких обстоятельствах или для принятия каких решений Основное содержание –Описывает проблемы и связанные с ними вопросы для изучения, которые необходимо рассмотреть в ходе оценки –Определят ключевые данные, которые необходимо получить и проанализировать для того чтобы иметь возможность ответить на каждый вопрос оценки –Представляет график проведения оценки с указанием того, кто отвечает за проведение оценки

40 40...Что такое стратегия оценки программы Основное отличие оценки от измерения эффективности работы –Измерение эффективности фокусируется на текущем сборе информации по эффективности в целях управления текущими операциями –Оценка является углубленным изучением, которое проводится на важном этапе жизненного цикла программы, политики или другой инициативы, в результате принимаются решения в отношении данной программы– часто проводится третьей стороной

41 41 Типы оценок Оценки реализации (формативные оценки): в центре – ранние этапы программы проводится для того, чтобы убедиться в том, что она реализуется так как задумано, включая положения об измерении эффективности и степени продвижения к достижению итогов. Оценки воздействия (суммарные оценки): углубленная оценка вводимых факторов, продукта, результативности и окончательных итогов программы и в какой степени деятельности в рамках программы могут быть связаны с достижением отчетных результатов. Предназначена для программ с высокой степенью риска с использованием полной оценки ключевых моментов оценки. Целевая оценка: оценка полученной ценности на затраченные средства (актуальность, экономичность, эффективность, рентабельность), предназначена для проведения в программах с уровнем риска от низкого до среднего. Целевые оценки направлены на вводимые факторы, деятельность, выход и непосредственные итоги, в них уделяется особое внимание удовлетворенности клиентов и стандартам услуг в качестве ключевых показателей эффективности. Оценки стратегической политики: в центре – удовлетворение потребностей Кабинета в сфере принятия решений по глобальным инициативам политики. Могут охватывать группы программ, нацеленных на общие цели политики и дают информацию о воздействии, потенциальных будущих направлениях и последствиях политики. Не предназначены для целей отчетности по результативности и результатам программ.

42 42 Рабочая сессия по выбору типа оценки – обсуждение в рабочих группах Работа продолжается в тех же самых рабочих группах Используется программа, по которой проходила работа в предыдущем семинаре Определить, какие типы оценок могут быть подходящими для программы, в какое время и в каких условиях или обстоятельствах процесса принятия решений Рассчитать результаты работы группы в следующей таблице Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно

43 43 Таблица: стратегии оценки и варианты выбора ТИП ОЦЕНКИ ВРЕМЯ ПРОВЕДЕНИЯ ОЦЕНКИ УСЛОВИЯ ИЛИ ОБСТОЯТЕЛЬСТВА ПРИНЯТИЯ РЕШЕНИЙ ДЛЯ ПРОВЕДЕНИЯ ОЦЕНКИ

44 44 Обзор инструментов и анализа оценки программы Ключевые проблемы оценки программы Множественные линии сбора данных Анализ данных Суждения на основе данных Затраты на измерение эффективности работы и проведении оценки Семинар по составлению планов проведения оценки

45 45 Ключевые проблемы оценки программы Ключевые проблемы оценки программы – это широкие сферы, которые следует изучить в ходе проведения оценки: Актуальность: Продолжает ли политика, программа или инициатива соответствовать приоритетам министерства и всего правительства, реалистично ли она стремится удовлетворить реальную потребность? Успешность: Эффективно ли политика, программа или инициатива достигает своих целей в рамках бюджета и без нежелательных негативных результатов? Рентабельность: Используются ли для достижения целей наиболее целесообразные и эффективные пути по сравнению с альтернативным дизайном и подходами к реализации? Вопросы по оценке являются более конкретными исследовательскими вопросами на которые требуется дать ответы для рассмотрения каждой проблемы оценки. Они составляются на основе консультаций с ключевыми заинтересованными сторонами программы (см. принципы - слайд 11)

46 46 Множественные линии сбора данных В целях максимизации веса данных оценки для ответа на один и тот же вопрос оценки используются многочисленные линии сбора данных, в особенности если данные из одного источника являются слабыми Как минимум (при том допущении, что проводится незначительный сбор данных по текущей эффективности программы) для ответа на вопрос следует использовать следующие линии сбора информации: –Обзор литературы: что об эффективности аналогичных программ говорится в национальной и международной исследовательской литературе –Обзор документов: какие данные об эффективности программы содержатся в документации, обзор которой был проведен в рамках программы –Собеседования с ключевыми заинтересованными сторонами: что говорят представители ключевых заинтересованных сторон об эффективности программы и о том, каким образом ее можно повысить Эти данные могут быть дополнены данными из других линий данных, таких как обследования заинтересованных сторон, тематические исследования, административные системы и записи и т.п.. для усиления данных по важным вопросам оценки и придания им большей достоверности (см. слайд 35 об источниках данных и методах получения данных)

47 47 Множественные линии сбора данных: таблица ПРОБЛЕМЫ ОЦЕНКИ ВОПРОСЫ ОЦЕНКИ ЛИНИЯ ДАННЫХ 1 ЛИНИЯ ДАННЫХ 2 ЛИНИЯ ДАННЫХ 3 ЛИНИЯ ДАННЫХ 4 АКТУАЛЬНОСТЬ Вопрос по актуальности 1 XXX Вопрос по актуальности 2 XX УСПЕШНОСТЬ Вопрос по успешности 1 XXX Вопрос по успешности 2 XXXX Вопрос по успешности 3 X РЕНТАБЕЛЬНОСТЬ Вопрос по рентабельности 1 XXX Вопрос по рентабельности 2 XX

48 48 Анализ данных Количественный анализ –Дескриптивный: описывает ситуацию, используя статистические данные –Сравнительный: определяет являются ли наблюдаемые группы различными или одинаковыми и в какой степени – либо сравнение со стандартами –Реляционный: определяет меру связанности друг с другом различных показателей или факторов программ Качественный анализ –Контентный анализ: сколько раз произошло какое-либо явление – выражения, слова, события –Иллюстрирование ситуации: с использованием цитат, графических образов, детальных описаний –Исторические справки: краткие тематические зарисовки, иллюстрирующие идею По количественным и качественным данным –Кодировать данные: по источнику или характеристике –Ранжировать данные: по относительной важности или значению –Искать характер результатов (сходные характеристики): агрегировать, детализировать, сегментировать

49 49 Затраты на проведение измерения результатов работы и их оценка Их необходимо включать в бюджет программы и ассигновать отдельно на оценку и измерение эффективности В типичном случае могут составлять от 3% до 8% от общих затрат на программу В зависимости от характера, масштаба, сложности и важности программы (экономия за счет масштаба) Компромисс между инвестированием в измерение эффективности и в оценку – качественная информация по измерению эффективности ведет к снижению затрат на однократные оценки

50 50 Суждения на основе данных Критерии –Определить критерии и оценивать данные с использованием этих критериев –Критерии должны быть известны и согласованны заранее Нормы –Использовать базисные эталоны эффективной практики как точку отсчета Экспертные группы –Привлекать видных деятелей и использовать их суждения и опыт для оценки и интерпретирования данных

51 51 Семинар по составлению планов проведения оценки Работа продолжается в тех же самых рабочих группах Используется программа по которой проходила работа в предыдущем семинаре Выбрать тип оценки с которым вы хотели бы работать (см. слайд 41) Определить один (или более) вопрос для оценочного исследования для каждой из трех ключевых сфер (см. слайд 42) Для каждого вопроса для оценки определить –Показатели эффективности деятельности/источники данных –Методы получения информации –Методы анализа информации Подсчитать полученные данные, используя план проведения оценки (слайд 52) Составить возможный план проведения оценки для выявления влияния любых актуальных внешних факторов или воздействий на результаты программы и дифференцировать воздействия от самой программы (факультативно) Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно

52 52 План оценки: таблица ВОПРОС ИЗУЧЕНИЯ ОЦЕНКИ ВОПРОСЫ ОЦЕНКИ ПОКАЗАТЕЛИ/ ИСТОЧНИКИ ДАННЫХ МЕТОДЫ ПОЛУЧЕНИЯ МЕТОДЫ АНАЛИЗА ДАННЫХ АКТУАЛЬНОСТЬ Вопрос по актуальности 1 Вопрос по актуальности 2 УСПЕШНОСТЬ Вопрос по успешности 1 Вопрос по успешности 2 Вопрос по успешности 3 РЕНТАБЕЛЬНОСТЬ Вопрос по рентабельности 1 Вопрос по рентабельности 2

53 53 План отчетности - обзор Что такое план отчетности? Источники информации по эффективности деятельности Рабочая сессия по стратегии отчетности

54 54 Что такое план отчетности? Выявляет пользователей информации об эффективности деятельности и их потребности (управленческое принятие решений, подотчетность и доведение/обмен информацией) –законодательный орган, правительство, общественность –партнеры, клиентская/целевая аудитория –персонал программы, центральные ведомства Устанавливает график – какая информация об эффективности деятельности должна представляться, каким пользователям Устанавливает – кто отвечает за представление этой информации и в какой форме

55 55 Источники информации об эффективности деятельности Средства измерения текущей эффективности Результаты оценок Другие источники информации – статистические агентства, международные организации и т.п.

56 56 Семинар по стратегии отчетности Работа продолжается в тех же самых рабочих группах Используется программа, по которой проходила работа в предыдущем семинаре, и разработанный план измерения эффективности и оценки Определить потенциальных пользователей информации об эффективности и их информационные потребности Определить источники информации по эффективности, способы распространения, даты представления и ответственность за представление информации об эффективности (какие провалы вы видите?) Занести результаты обсуждения в таблицу стратегии оценки, слайд 54 Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно

57 57 План отчетности: таблица ИНФОРМАЦИЯ ОБ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ И СПОСОБ РАСПРОСТРАНЕНИ Я КТО ПРЕДСТАВЛЯЕТ ИНФОРМАЦИЮ ДАТЫ ПРЕДСТАВЛ ЕНИЯ ПОЛУЧАТЕЛЬ ИНФОРМАЦИОННЫЕ ПОТРЕБНОСТИ ПОЛУЧАТЕЛЯ

58 Заключение Общее обсуждение вопросов Заключительные ремарки СПАСИБО !!!!!