Slide 1 Hammerschmid, Performance Management, Berlin Study Visit Performance Management & Measurement in the Public Sector: Holy Grail or Achievable Quest? Prof. Gerhard Hammerschmid Lomonosov Moscow State University State Management: State Policy, Management and Leadership Study Visit to the Hertie School of Governance, Berlin November

Slide 2 Hammerschmid, Performance Management, Berlin Study Visit Основные вызовы на практике Недостаток знаний / релевантных практик публичного менеджмента в ежедневной работе Высокая степень недовольства имеющимися инструментами Источник: State/City of Vienna; employee survey 2007; n=3285

Slide 3 Hammerschmid, Performance Management, Berlin Study Visit Европейская перспектива Ограниченное использование информации об эффективности В своей работе я использую показатели эффективности: (1 – никогда, 7 - постоянно)

Slide 4 Hammerschmid, Performance Management, Berlin Study Visit Управление эффективностью – так популярно в теории и так сложно осуществимо на практике. (Пол Г. Томас 2008)

Slide 5 Hammerschmid, Performance Management, Berlin Study Visit Тема Сессия по управлению эффективностью Релевантность и ключевые идеи управления эффективностью Управление эффективностью: цели и вызовы Внедрение управления эффективностью в систему управления Основные вызовы и факторы успеха

Slide 6 Hammerschmid, Performance Management, Berlin Study Visit Почему: Слабость традиционного подхода к управлению в публичном секторе конституция, Законы & правила цели ресурсы Управление, основанное на принципах Ежегодное управление по затратам Source: Schedler/Pr ö ller 2006

Slide 7 Hammerschmid, Performance Management, Berlin Study Visit Эволюция управления эффективностью в публичном секторе Давняя традиция. Система планирования программного бюджета (PPBS), управление по целям, бюджетирование с нулевой базой Новый акцент на НГМ в 80 е – «движение за эффективность», «век эффективности», «модное слово», «мантра» 2 ключевых доктрины модернизации НГМ –Децентрализация / автономность менеджмента (дайте управленцам управлять) –Оценка эффективности для повышения подотчетности Поддерживается увеличением количества собираемых данных Один из трех «больших вопросов публичного менеджмента» (Behn 1995)

Slide 8 Hammerschmid, Performance Management, Berlin Study Visit Управление эффективностью в публичном секторе – типичная аргументация Публичный сектор традиционно акцентируется на ресурсах – особенно в вопросах планирования/распределения бюджета, который концентрируется на ресурсах (финансовых и кадровых), а не на достижении результата Все это ограничивает адекватную оценку эффективностью и управление Внешние запросы и ожидания (например, граждан) трактуются некорректно Главные аргументы в пользу управления эффективностью –Поддержка политического цикла: разработка, подготовка, принятие решения и оценка –Повышение подотчетности / прозрачности –Повышение управляемости

Slide 9 Hammerschmid, Performance Management, Berlin Study Visit Управление эффективностью в публичном секторе Управление эффективностью = действие на «основе данных об эффективности» ОЭСР 1995: «в управленческом цикле, где определены цели и показатели эффективности, менеджеры могут проявлять гибкость в их достижении, эффективность измеряется и эта информация в дальнейшем используется для принятия решений о санкциях или поощрениях в отношении сотрудников» Измерение эффективности как ключевой компонент Информация ценна только если на ее основе принимается управленческое решение – ключевая «проблема использования» 3 различных фокуса: организационный, программный, индивидуальный

Slide 10 Hammerschmid, Performance Management, Berlin Study Visit Цикл управленческого контроля Планирование цели и действие Реализация Или запланированные действия Оценка Выяснение реального состояния Контроль Сравнение запланированных результатов с реальными Действия по корректировке реализации в соответствии с планированием Действия по корректировке планирования в соответствии с изменяющейся внешней средой Другие источники информации

Slide 11 Hammerschmid, Performance Management, Berlin Study Visit Какие сферы должны управляться в государственном секторе? Использование ресурсов Бюджет/деньги- финансовый контроллинг Персонал- контроллинг персонала Эффективность- контроллинг эффективность (эффекты/результаты) Функциональные области - проектный, инвестиционный, стратегический, IT-контроллинг

Slide 12 Hammerschmid, Performance Management, Berlin Study Visit Текущий опыт С какими позитивными и негативными проявления управления эффективностью или контроллинга вы сталкивались в вашей организации? Например, в деловом и стратегическом планировании, управлении по целям, управлению качеством, бенчмаркингом, индивидуальными целями и показателями эффективности, исследованиями мнения потребителей, оплате по результатам Позитивный опыт Негативный опыт

Slide 13 Hammerschmid, Performance Management, Berlin Study Visit «Основные уроки» из исследования GPP Управление имеет значение (как позитивные, так и негативные эффекты) Эффективное лидерство жизненно необходимо (энергия и управление) Системы управления это рычаги политики реформирования Факторы успеха для систем управления –Четкость цели и способность ограничивать приоритеты –Способность четко связывать ресурсы и приоритеты –Связь между результатами и подотчетностью –Способность оценивать прогресс (оценка, основанная на определенных критериях, способствует накоплению знаний) Отличие между управлением в стабильной среде и в турбулентной среде Источник: Ingraham/Joyce/Donahue 2003

Slide 14 Hammerschmid, Performance Management, Berlin Study Visit Оценка эффективности: цели и вызовы

Slide 15 Hammerschmid, Performance Management, Berlin Study Visit Общие доктрины в оценке эффективности и управлении эффективностью «Вы не можете управлять тем, что не можете измерить» «То, что может быть измерено, должно быть измерено» «Измерено значит сделано» Более критический взгляд «Определение эффективности связано с понятием власти. Тот, кто определяет индикаторы, также косвенно определяет результат и успех». Bro ̈ ckling, 2004

Slide 16 Hammerschmid, Performance Management, Berlin Study Visit Как измерять эффективность и управлять ею? Инструменты для внутреннего управления/менеджмента Ясность организационных целей, указаний и ожиданий Мониторинг и сбор информации Лучшее понимание деятельности/процессов и специфики критериев оценки Информированное принятие решений (основанное на данных) Улучшенное управление ресурсами Глубинный анализ и мер по улучшению ситуации Делегирование / децентрализация

Slide 17 Hammerschmid, Performance Management, Berlin Study Visit Зачем измерять эффективность и управлять ею? Внешние коммуникации и информация Создание прозрачности и подотчетности заинтересованным лицам Условия для выбора пользователем (таблицы) Ключевые условия для оказания услуг Условия для соревновательной эффективности (конкуренция) Повышение качества информации для принятия политических решений Овеществление отношений между государственным управлением и политикой Инструменты выстраивания отношений с общественностью / создания доверия / легитимности

Slide 18 Hammerschmid, Performance Management, Berlin Study Visit Различные цели – различные показатели Цель Показатели / индикаторы Оценить Эффекты, сравнение результатов с затраченными ресурсами, а также эффекты внешних факторов Контролировать Входящий поток ресурсов Финансировать Меры эффективности (результаты / входящие ресурсы) Мотивировать Эффекты сравненные с целями Продвигать Понимание аспектов эффективности, которые важны для граждан Поощрить Периодичные целевые показатели эффективности, которые дают людям чувство коллективного достижения Узнать Разрозненные данные, которые могут отклоняться от прогнозных показателей Улучшить Отношения «внутри черного ящика», которые соединяют изменения в процессах с изменениями в конечных результатах

Slide 19 Hammerschmid, Performance Management, Berlin Study Visit Концептуальное прояснение: Что такое эффективность? Что такое хорошее управление? Проблема для исследователей и практиков ГУ Традиционный фокус на использовании соотношения затрат/ресурсов – новый фокус на эффективности и оказании услуг Эффективность –Оценивается с точки зрения различных заинтересованных лиц – эффективность это продукт общества –Комплексный, многоаспектный феномен из-за разницы между целями и точками зрения Эффективность можно определить из различных перспектив: –Экономическая (экономика, эффективность) –Демократическая (доступ к услугам, равенство) –Политическая (эффективность политических решений, качество)

Slide 20 Hammerschmid, Performance Management, Berlin Study Visit Многоаспектность эффективности публичного сектора Критерии оценки Результативность Входящие/исходящие потоки Демократические эффекты Подотчетность, равенство, легальность, участие, честность Эффекты Качество и количество услуг Эффективности Достижение формальных показателей, эффект для общества Восприимчивость Удовлетворенность граждан, сотрудников Source: Boyne 2002/2003

Slide 21 Hammerschmid, Performance Management, Berlin Study Visit Затраты-Результат-Эффект модель управленческого и политического циклов Стратегические цели (запланированные затраты/результаты ) Затраты (издержки/ресурсы) Процесс производства (товары и услуги) Результаты (товары и услуги) Эффекты (эффект на создании общественного блага) Вопрос причинности Организация публичного сектора Эффективность Результаты

Slide 22 Hammerschmid, Performance Management, Berlin Study Visit Почему эффекты важны? Эффекты важны для легитимации политики перед гражданами, населением и политикой «Больше» таких результатов как услуги и процессы автоматически не приводят к повышению эффективности политики Оценка / измерение показателей эффективности часто сводится к оценке результатов (критерий эффективности) Оценка успеха политики требует оценки ее эффективности

Slide 23 Hammerschmid, Performance Management, Berlin Study Visit Политические/ административные цели Ресурсы Процесс производства Результаты – оказываемые услуги Результаты Экономия Эффективность Результативность Эффективность: Мониторинг осуществляется инспекторами Мониторинг мест происшествий инспекторами Инспектирование инспекторов Результативность Количество жалоб Количество аварий (аварий на 1000 человек) Пример Анализ ситуации на местах

Slide 24 Hammerschmid, Performance Management, Berlin Study Visit Потенциал и ограничения различных режимов контроля source: OECD 2005

Slide 25 Hammerschmid, Performance Management, Berlin Study Visit Опасности / Непредвиденные последствия измерения эффективности Бюрократизация и дополнительная административная нагрузка Непредвиденные последствия: – Близорукость – Полуоптимизация – Тоннельное видение – Нерепрезентативность – Неверные интерпретации – Игрофикация – Окостенение Потеря качества Недостаток понимания Source: Smith 1995 On the unintended consequences of publishing performance data in the public sector

Slide 26 Hammerschmid, Performance Management, Berlin Study Visit Ожидания и реальность управления эффективность (Stone 1997, Radin) Ожидания от управления эффективностью –Политические Зачем измерять эффективность? Из-за отсутствия единого итога; управление эффективности дает такое представление об итогах в отсутствие рынка и цен –Исследовательские Существует объективная реальность, которую нужно исследовать и измерить (термометр) Лучший подход: Управление эффективностью заключается не только в измерении, но и в поведении, в формате ориентации на цели и достаточно хорошем управлении

Slide 27 Hammerschmid, Performance Management, Berlin Study Visit Показатели эффективности могут и не могут достичь Могут: Не могут:

Slide 28 Hammerschmid, Performance Management, Berlin Study Visit Профессор Кристофер Худ University of Oxford, ESRC Research Programme Примеры использования измеримых показателей эффективности в государственных и публичных услугах 3 основных сферы управления эффективностью: -Цели -Рейтинги -Развитие человеческих ресурсов (развитие в динамике)

Slide 29 Hammerschmid, Performance Management, Berlin Study Visit Внедрение оценки эффективности в систему управления

Slide 30 Hammerschmid, Performance Management, Berlin Study Visit Основной вызов От измерения к управлению Performance Measurement Performance Management

Slide 31 Hammerschmid, Performance Management, Berlin Study Visit Развитие способности управления эффективностью Source: COSO Modell (COSO 2008) Критерии оценки качества системы: Кто задает и кто отвечает на ключевые вопросы оценки эффективности – Ex ante: что будет сделано? – Ex nunc: что происходит? – Ex post: что произошло? – Следующий шаг: Что изменится? Какие документы дают ответы на эти вопросы Отсутствуют ли какие-либо документы, необходимые ан различных уровнях или процессах организации? Что подразумевается под качеством информации в системе? What is the coherence of the documents available which incorporate performance information?

Slide 32 Hammerschmid, Performance Management, Berlin Study Visit Crucial Steps in Designing a PM System Criteria for prioritising: indications of problems, financial importance, social visibility, feasibility, diffusion (KPI) Good systems combine outpus and outcomes (efficiency and effectiveness) Combine different sources: existing/additional registrations, surveys, self-assessments, external observers, statistical, research….. 3 interpretation strategies: norms/targets, break-out data (comparisons), causal analysis Pay attention to attribution issues ! Match with audience

Slide 33 Hammerschmid, Performance Management, Berlin Study Visit Criteria for an Effective Performance Measurement System Timely and actionable Balanced and comprehensive (measuring all essential dimensions of performance) With clear preferred direction of movement Coherently and hierarchically structured Focused on the main features Meaningful Simple and with as few indicators as possible Cost-effectiveness Motivating Timeliness and durability Combine comparisons over time, against targets, across units and with external benchmarks Source: OECD "Performance Measurement in Government" 1994 Poister Measuring Performance in Public and Nonprofit Organisations 2003

Slide 34 Hammerschmid, Performance Management, Berlin Study Visit Integrated System over Various Levels Team/single person objectives Strategic Goals Unit Goals and Measures Operative Goals and Measures Vision Mission Planning Reporting

Slide 35 Hammerschmid, Performance Management, Berlin Study Visit The Need for an Integrated Performance Management System clarifying performance objectives and linking these with organisational business plans / strategic plans periodic performance appraisal of individuals or teams against the achievement of these objectives feedback from this appraisal recognition or reward for performance (e.g. performance pay and salary progression guided by performance) team and individual development to build capabilities; counselling, or other action to deal with poor performance establishing a link between the development of capabilities with organisational and business planning (i.e. not only cascading down but also having a system that feeds back up) evaluating the contribution of individual, team and organisational performance

Slide 36 Hammerschmid, Performance Management, Berlin Study Visit Hard vs. Soft Measurement Systems high impact low impact tightly coupled loosely coupled H A R D S O F T to learn To steer & control to give account Source: van Dooren et al. 2010

Slide 37 Hammerschmid, Performance Management, Berlin Study Visit Concept of Key Performance Indicators (KPIs) Represent a set of measures focusing on those aspects of organizational performance that are the most critical for the current and future access of the organization Characteristics: –Nonfinancial measures –Significant impact (important to the organization) –Can be measured frequently –Relevant and acted on by the top management level –Understanding of the measure and the corrective action required by all staff –Ties responsibility to individual or team –Positive impact on all other performance indicators

Slide 38 Hammerschmid, Performance Management, Berlin Study Visit Управление эффективностью: Основные вызовы и факторы успеха

Slide 39 Hammerschmid, Performance Management, Berlin Study Visit Основные вызовы во внедрении управления эффективностью Так популярно в теории и так сложно на практике 1. Проблемы оценки 2. Проблема недостатка заинтересованности: как сделать показатели актуальными? 3. Игрофикация и попытки обмануть системы: субъективные и интерактивные процессы, включающие «политику» 4. Как преодолеть противоречия: – Повышением прозрачности/подотчетности (политическая логика) – Повышение эффективности и накопление знаний (управленческая логика) 5. Как интегрировать управление эффективностью в общую систему управления: стратегия, бюджета, структура, управление человеческими ресурсами 6. Вызов перед лидерством: целевые показатели эффективности и оценки на индивидуальном уровне

Slide 40 Hammerschmid, Performance Management, Berlin Study Visit Факторы успеха в создании системы управления эффективностью Управление эффективностью всегда связано с другими измерениями управления (структура, финансы, кадры, организационная культура) Четкое разделение обязанностей и компетенций (центры ответственности) Философия управления на расстоянии вытянутой руки – Ясные цели и целевые показатели – Повышение автономии в деятельности линейных министерств – Системы сбора информации Открытая организационная культура, восприимчивая к обучению Готовность к прозрачности (администрирование, политика)

Slide 41 Hammerschmid, Performance Management, Berlin Study Visit Необходимость развития целей Система интегрирована на различных уровнях иерархии (однозначная трактовка на всех уровнях) Многомерные цели Относятся к ресурсам, процессам, результатам, эффектам Относятся к количеству, качеству и скорости оказываемых услуг Подходят для различных акторов Сложность операционализации целей (проблема измерения) опасность сведения фокуса к финансовой эффективности Меньше – лучше / чем проще, тем лучше Регулярный пересмотр целей и показателей эффективности Управление по целям / через исключения Необходимо разбить их на индивидуальные показатели эффективности

Slide 42 Hammerschmid, Performance Management, Berlin Study Visit Зародилась в 1960 е Ставит вопрос успешных стратегий достижения Цели могут влиять на эффективность тремя способами: Цели сужают внимание и направляют усилия на соотносящуюся с целями деятельность и отвлекают внимание с нерелевантных действий Цели могут приводить к большему количеству усилий Цели влияют на настойчивость Факторы, оказывающие влияние (модераторы): Преданность цели Конкретность цели Достижимость цели Самоэффективность Ключевая роль – регулярная обратная связь Организационная психология Теория постановки целей (Latham/Locke 2002)

Slide 43 Hammerschmid, Performance Management, Berlin Study Visit Интерактивный подход к использованию управления эффективностью Использование информации об эффективности для получения публичной поддержки vs. Обучение, основанное на целях Противоречивое, субъективное качество данных об эффективности Факторы, улучшающие обучение на целях / обучающие форумы: – Рутинные события – Установление правил структурированного диалога – Неконфронтационный подход для избежания защитных реакций – Коллегиальность среди участников – Набор акторов, ответственных за рассматриваемые эффекты – Ориентация на диалог в определении организационных целей – Определение, проверка исходных положений – Использование количественных мер успеха и неудачи, включая цели, эффекты и предметы сравнения – Использование знания процесса и рабочих условий, которые объясняют успех, неудачу и возможность создания инноваций Source: Moynihan 2008

Slide 44 Hammerschmid, Performance Management, Berlin Study Visit Критерии успеха для управления эффективностью в государственном управлении Source: Australian Public Service Commission 2003

Slide 45 Hammerschmid, Performance Management, Berlin Study Visit Управление эффективностью здесь в серьез и надолго; вопрос не в том, если оно будет влиять на политику, а в том, как Будет становиться еще более популярным, станет более логичным и понятным в теории и на практике. Оптимальная позиция: реалистичная оценка потенциала и проблем Осознание субъективной, политической составляющей Необходимость более тонкого подхода: механистическое понимание коммуникации, поиск консенсуса, строительство доверия Отход от универсальных оценок и требований к сбору информации: учет типа функции/задачи, традиций/истории, лидерства Прагматичный подход: простые системы с информацией, необходимой пользователю Нет быстрых рецептов: терпение и настойчивость Перспектива Международный опыт

Slide 46 Hammerschmid, Performance Management, Berlin Study Visit Prof. Dr. Gerhard Hammerschmid Public and Financial Management Hertie School of Governance Quartier 110. Friedrichstraße Berlin Germany ____________________________