Системы показателей эффективности - Performance Measurement Framework (PMF) Семинар: Управление данными о производительности

2 Обзор семинара Цель обучения: 1.Понять обоснование и основные компоненты, организационные основы показателей производительности (PMF). 2.Узнать, как для заполнения различных элементов PMF шаблона в зависимости от политики MRRS, передовой практики и обновления. Обзор: Общие положения PMF Новые требования PMF Важные элементы PMF: где проводятся управление данными по эффективности

3 Общие положения PMF PMF представляет основу Архитектуры программы согласования - Program Alignment Architecture (PAA) измерения производительности в Департаменте. Другие измерения производительности должны быть логически увязаны с PMF, например с такими как - Performance Measurement Strategies (Стратегия Измерения). Совокупные данные PMF должны постоянно собираться. Этот постоянный сбор и анализ данных, должен быть устойчивым в долгосрочной перспективе для поддержки управления программой. PMF данные должны систематически использоваться в программе управления и расходов предложений центральных органов, таких, как Казначейство - Treasury Board Submissions (TB Subs), как указанно в путеводителе казначейства, и в отчетах Планов и Приоритетов - Reports on Plans and Priorities (RPP) и в Отчетах действий Департамента - Departmental Performance Reports (DPR). –MAF AoM 2: Управление, ориентированное на результаты оценивает использование информации MRRS: В документах центральных агентств, и в Внутренних документах (показатели, планы работ, представления исполнительными комитетами и т.д.). Так или иначе, организация должна пройти через процесс ежегодного поправки, любые обновления PMF должны быть предоставлены в TBS (Казначейство Канады) до начала нового финансового года.

4 Пересмотренные требования PMF По состоянию на апрель 2012 года, TBS будет осуществлять следующие изменения: 1 - ДОПОЛНИТЕЛЬНО: измерение стратегических результатов (SO) Обоснование : Признание того, что могут быть случаи, когда меры на уровне SO не могут быть единственным на уровне Программы SO показатели полезны, когда ожидаемые результаты показателей для программ недостаточны, чтобы оценить прогресс в данном стратегическом результате 2- БОЛЬШЕ НЕ ТРЕБУЕТСЯ: Результат Обоснование: Уменьшить дублирование с другими требованиями политики TBS (например, политика по оценке) Некоторые результаты могут быть полезны при разработке показателей эффективности 3- ТРЕБУЕТСЯ: Одна измеритель эффективности для каждой программы низкого уровня Обоснование: Оптимизация механизмов регуляции (MRRS) и восстановления данных требований и уделять больше внимания оценке эффективности и действенности программ

5 Пересмотренные требования PMF: Сроки реализации Фискальный год : –Внедрение SO / изменения результатов в PMF –Рабочая группа будет работать на руководство развития по измерению эффективности (contact Nicola Cameron: –Дополнительно: Включение мер по повышению эффективности в PMF Фискальный год : –Включение мер по повышению эффективности во всех PMFs –Меры повышения эффективности в PMFs будут оценены TBS, но без оценки рейтингов Фискальный год : –Меры повышения эффективности в PMFs будут оценены с рейтингами как часть MAF

6 Требования PMF в соответствии с инструкциями Для каждой программы определенных в PAA, соответствующий процесс с адекватной системой внутреннего контроля должны быть разработаны для регулярного, непрерывного сбора данных по всем показателям. Весь сбор данных и процессы хранения данных должны быть разработаны так, чтобы они были легко проверяемы на надежность и точность. Соответствующее управление должно быть на месте для обеспечения целостности собранных данных. Для каждой программы, краткая методология по каждому определённому показателю должна быть разработана с целью объяснить, как индикатор будет измерять и как интерпретировать его результаты. По каждому показателю, где эти данные доступны, информация о производительности должна быть собрана задним числом за предыдущие годы. Если индикатор имеет потенциал создания, или, возможно, они уже создали порочные стимулы, соответствующие меры должны быть приняты для борьбы со связанными с ними последствиями. Каждая программа должна провести объективный и беспристрастный анализ и использовать информацию в поддержку программы принятия решений, отчетности и взаимодействия с центральными органами. Каждая программа должна убедиться, что она имеет достаточный потенциал, чтобы анализировать и интерпретировать информацию о производительности, чтобы руководствоваться при принятии решений и объективного освещения. Каждая программа должна иметь возможность сообщить о своих ежегодных расходах - как запланированных, так и фактических.

7 PMF Шаблон * По программам самого низкого уровня PAA требуется один показатель эффективности.

8 Позиция ответственности Позиция должна соответствовать уровню программы (например, ADM ответственность программs, DG ответственность подпрограммы, и т.д.) Осуществляет контроль за развитием измерений и чемпионы по сбору и оценке фактических результатов против ожидаемых результатов Важно, чтобы цель была по позициям, а не физическим лицам Обоснование: В соответствии с политикой «Обеспечение того, что руководители несут ответственность за согласованные результаты и результаты, изложенные в MRRS» Типичная ошибка: Департаменты перечисляет более одной позиции или комитет по программе

9 Запланированные затраты Отделить от расходов расходы на внутреннее обслуживание Обеспечить планируемые расходы на всех уровнях программ Плановые показатели расходов программы низкого уровня должны добавить до цифры для своих соответствующих программ Программа финансирования должна быть согласована с Главными расчетами и докладу по планированию и приоритетам Планируемые расходы должны катиться по итогам уровня SO (стратцелей) PA: 1,450 SA: 450SA: 500 SSA: 125 SSA: 375

10 Ожидаемые результаты Ожидаемый результат относится к тому, что программа предназначена для достижения конкретной цели. Сильно ожидаемые результаты: –Выражаются ясно, единичные предложения результатов –Соответствуют ли данные программы описанию (например, программа обоснование, методы вмешательства, целевых групп населения и объема) и программных ресурсов –Соответствуют ли другим программам в PAA –Являются ли они высокому уровню результативности связанных с каждой программой –Различны уникальны ли они для каждой программы Примеры: –Уровень самоубийств среди правонарушителей в исправительных учреждениях не выше, чем в остальной части населения Канады –Канадцы имеют доступ к судебной системе на любом официальном языке по выбору (англ. или фр.) Общие ловушки: Перекрытия, отсутствие приписок, несколько результатов, сходства, и т.д.

11 Цепь Ожидаемых результатов Активность: поиск парковки и проезда SSP: Пригородные и сельские жители имеют доступ к Парк и Райд объектам SP: Пригородные и сельские жителей пользуются общественным транспортом Program: Время пригородных поездок снижается за транзит пасажиров. SO: Система общественного транспорта является устойчивым ЧТОБЫ ЧТОБЫ Увеличение общественного интереса Увеличение ведомственного влияния

12 Дополнительные ожидаемые результаты Действие: найти способы для расширения проезда автобусов SSP – Поргамма «Парк и Райд» Ожидаемый результат: Пригородные и сельские жители имеют доступ к Парк энд Райд объектам SP – Программа автобусного транзита Ожидаемый результат: Пригородные и сельские жители пользуются общественным транспортом Действие: найти парковки и расширить проезд SSP – Программа расширения дорог Ожидаемый результат: Свободный проезд автобусов по дорогам в часы пик.

13 Показатели Показатель это - качественные или количественные средства замера производительности программы. Сильные показатели: –выражается в четком и соответствующем формате –Измеряется краткосрочный и долгосрочный ход программы –Действенные, достоверные и сопоставимые меры прогресса ожидаемым результатам программы Показатели эффективности: –Должны быть значимыми и позволить руководителю программы обсуждать выполнения программы с заместителем руководителя Центрального агентства –Как ожидается, будут использоваться в любых предложениях расходов, таких как меморандумы Кабинета министров, Казначейства, материалов Стратегического Обзора и отчетов в парламент. Политика в MRRS показывают два типа показателей: –Цели (ожидаемые результаты) индикаторы –Показатели эффективности

14 Результаты (ожидаемые) индикаторы Итоговые показатели представляют собой ключевые показатели используемые для определения прогресса в достижении ожидаемых результатов программы. Все ожидаемые результаты должны сопровождаться, по крайней мере одним показателем результата, максимум 3 на каждую программу. Насколько это возможно, показатели всегда должны быть сведены в рейтинговой шкале. Пример: –Количество рабочих мест созданных и поддерживаемых в северном Онтарио через сообщество Фьючерсы инвестиций (Target=2 192) Source: IC PMF

15 Качественные показатели представленные в количественном выражении Пример 1 - SSHRC PMF SP Аспирантура и Программа стипендий ER (ож.рез): Призеры расширяют свои навыки (например, подготовка кадров, обучения и профессионализация) за счет возможности получить международный опыт Измерение: Качество общего исследовательского опыта Индикатор: Указывается процент по крайней мере, «выше среднего» уровня качества общего исследовательского опыта. Методология: Шкала от 1 до 5, где 1 - посредственно, 2 – ниже среднего, 3 - среднее average, 4 – выше среднего, 5 - отлично. Источник данных: Оценка Цель: 80%

16 Пример 2 - AANDC PMF SP Политическое развитие и межбюджетные отношения ER: Возложение управлением земель и ресурсов на правительство Северо-Западных территорий Измерение: Завершение передачи Индикатор: Уровень завершения передачи в NWT (СЗТ) Методология: 5 фаз передачи где 1) Протокол, 2) Принципиальная договоренность, 3) Финальный договор, 4) Закон и 5) реализация Источник данных: Внутренняя отчетность Цель: Фаза 3 завершение Качественные показатели представленные в количественном выражении

17 Example 3 - DND PMF Program 4.1 Защита военнослужащих вспомогательного персонала ER: Повышение готовность персонала к развертыванию войск за счет всесторонней поддержки военнослужащих и членов их семей. Измерение: Удовлетворение военного образа жизни и качества жизни в канадских вооруженных силах Индикатор: Показатель доли респондентов военнослужащих, удовлетворенных военным бытом и качеством их жизни в канадских вооруженных силах. Порог: Зеленый 75%; Желтый 71-74%; Красный 70% Источник данных: опросы Цель: 87% Качественные показатели представленные в количественном выражении

18 Измерение эффективности политики Общие выводы Каковы потенциальные якоря для измерения эффективности политики? Насколько может быть измерена деятельность по обеспечению политических рекомендаций, документов и т.д.? Цель политики компонентов: координация, рекомендации для правительства / третьей стороне, внедрение, продвижение и т.д. поможет определить ожидаемые результаты К каким результатам своей политики стремятся топ-менеджеры в своей деятельности для принятия решений? помочь в определении показателей эффективности (их намерения) Что является данными о производительности и какое имеется наличие ресурсов? нужно быть объективным, данные должны быть легко фиксируемые и быть доступными

19 Измерение эффективности политики Изучение потенциальных измерений Объект: Функционирование компонентов, клиенты и т.д. Консультирование по вопросам политики: удовлетворенность, точность, полезность, своевременность Координация / Влияние: Представительство, участие Реализация: Доставка, последствия Акция: Осознание Эффективность политики трудно измерить, так как их результаты часто выглядят субъективно. Это может быть полезно для разработки эффективности / действенности мер, чтобы определить их цели и достижения (например, стандарты обслуживания). Советы: –Меры политических программ могут быть более базируемые на результатах

20 Показатели эффективности Путем измерения эффективности программ PAA, руководители программ стремятся получить полное представление о стоимости реализации программы по отношению к выполняемой работе. Основная функция успешного управления постоянный поиск путей эффективной реализации программ. По мере накопления опыта в той или иной программы, разумно ожидать, улучшение эффективности программы. ОБЩИЕ ПРИНЦИПЫ Разработка показателей эффективности находится на ранней стадии; показатели эффективности будут отражаться только через систему оценки MAF на TBS (Казначейство) будет поддерживать организации в развитие своих показателей эффективности; департаменты могут быть нацелены на один конкретный элемент. Руководство должно играть центральную роль в определении элемента, эффективность которого будет измеряться в каждой программе нижнего уровня. При отчете об эффективности, повествование поможет обеспечить контекст с реальными результатами. Цель состоит в том, чтобы внутри департамента: было более эффективное распределение ресурсов и оптимизация в программах самом низкого уровня.

21 Показатели эффективности Показатели эффективности используются для получения реального взгляда на стоимость проведения программы по отношению к количеству выполненных работ Показатели эффективности не связаны с конкретным ожидаемым результатом Показатели эффективности идеально состоят из соотношения, которое измеряет стоимость единицы работы Один показатель эффективности необходим для каждого из программы нижнего уровня PAA Примеры: –Стоимость сделки –Стоимость основных продуктов (например, стоимость дел, рассматриваемых судом) –Стоимость для получателя –Прокси затраты на единицу услуг (например, стоимость $ 1000 грантов или выданных контрибуций)

22 Эффективность Vs. действенность Вложения /действия результатыИтоги Область контроля департаментаОбласть влияния департамента эффективность действенность Объем затрат/ Эффективность затрат

23 Источники данных Источник, из которого данные о действиях будет зафиксирован или создан или будут доступны на регулярной основе. Источниками данных могут быть внутренними или внешними. Рассмотрение возможности и стоимости использования источников данных. Сильный источник данных: –Содержит информацию, необходимую для оценки эффективности –Четко указанные и конкретные –Надежный и независимый источником информации ПРИМЕРЫ: –Организаций Правительства Канады (например, Статистическое управление Канады) –Источник международного стандарта или тестов (например, ОЭСР, ВБ) –Сравнительные исследования, отчеты, анкеты и опросы, обзоры литературы, а также внутренние административные файлы –Неправительственные организации (например, канадская благотворительная ассоциация)

24 Частота сбора данных Частота относится ко времени, по которой данные для показателей будут собираться и представляться (например, ежегодно или раз в два года). Частота сбора данных должна быть определена соответствующими по отношению к природе показателей эффективности и необходимости оцениваемой организацией доложить о прогрессе в достижении намеченных результатов программы. Помните: Департаменты должны измерять как в краткосрочной и долгосрочной перспективе прогресс своих программ. Общие ловушки: Департаменты пишут «в процессе реализации» в процессе сборах данных

25 Цели Задачи, поставленные на уровень действия, что организация ставит своей целью добиться для конкретной программы, в частности по срокам Сильные цели: –Выражается в количественном выражении –Выражается в том же формате, как ее показатель эффективности –Выражаются с использованием абсолютного значения, а не увеличение или уменьшение Абсолютные значения более информативны и позволяют быстро рассчитывать тренд год за годом Департаменты должны обеспечивать цель для каждого целевого показателя Дата, которым были установлены для достижения каждой цели должны быть также предоставлены - в месяц и год, и должна быть обновлены по мере необходимости Обеспечение задач, поставленных правительством, в бюджете, или отраженных в любых других органах государственной власти Общие ловушки: Департаменты пишут «будет определено» как цель Цель должна быть основана на объективном и системном подходе, таких как тест исследования или анализ исторических данных программы

26 Заключение При создании PMF информацию, не забудьте: Будьте проще: –Не поддавайтесь давлению включать слишком много деталей и сложностей в PMF. Акцент на выявление тех ключевых ожидаемых результатов и показателей, которые помогут вам управлять своими программами и рассказать свою историю производительности. Определение большего числа показателей может сделать текущую коллекцию информации в вашей работе неустойчивым. Будьте ориентироваться на результаты: –Убедитесь, что выявленные показатели явно направлены на измерение конкретных результатов, что организация пытается достичь с помощью программы. Привлеките всех партнеров и заинтересованные стороны, по мере возможности: –При определении ожидаемых результатов и соответствующих показателей в PMF, важно, чтобы партнерские организации, высшее руководство, руководители программ, персонал, специалисты и эксперты по конкретным вопросам участвовали в этом процессе. Соглашение и общее понимания этих результатов имеют решающее значение для определения соответствующих показателей.

27 Портал MRRS Посетите нашу GCPEDIA страницу для большей информации в: Семинаре для построения PAA, oили использование MRRS; Процесс поправок MRRS; Обновления политики в MRRS; Ваш MRRS аналитик; или Хорошие практики в результативном менеджменте.

28 Шпаргалка Шпаргалка Семинара PMF предназначена для ссылки при обновлении PMF в организации. Не стесняйтесь использовать его при обсуждении соответствующих показателей деятельности с филиалами и руководителей программ. Имейте в виду, что в то время как эти необходимые меры для организации в листинге, они должны быть использованы только для указания целей. Загрузите дополнительные копии PMF Workshop Cheat Sheet из The MRRS Portal on GCPEDIA The MRRS Portal Первая сторона: советы для популяризации PMF Вторая сторона: снимки хороших практик PMF

29 Приложения

30 Как PMF выравнивается к PM Стратегии Program Activity Architecture PAA (низший уровень) Program Корпоративный уровень Program уникальная PAA Программа: Низший уровень PAA, Управление программой, мониторинг, оценка, финансируемая / обновляется и рассматривается как единое целое Программный уровень Program Комбинированная PAA Программа: Низший уровень PAA программы содержит две или более "Программированных элементов», которые управляются, контролируются, оцениваются и финансируются / вновь в качестве отдельных единиц (но рассматривается как единое целое)

31 Sub-Sub Прорамма Программа состоит из различных, но взаимосвязанных элементов. Может иметь одно или несколько запланированных оценок. Комбинированная Программа низшего уровня Системы показателей эффективности (PMF) Один (желательно) или более (по мере необходимости) PMSs разработаны менеджерами Программ в консультации с Главным руководителем оценки Итерационн ый процесс Соответствующие результаты, ожидаемые результаты и показатели для PMF должны быть взяты из тех, которые перечислены в нескольких PMS. PMF разработан корпоративным проектировщиком и руководителями программ в консультации с Главным руководителем оценки. PMS 1 PMS 2 PMS 3 Component 1: A Transfer Payment Program (PMS 1) Component 3: Another related activity (PMS 3) Component 2: A regulatory activity (PMS 2) Политика оценки Политика в области управления финансами Политика MRRS CDSR