Неправильные служащие или неправильные показатели: оценка качества системы показателей эффективности деятельности ОМСУ специалистами местных администраций Владимир Елисеенко ИГМУ НИУ ВШЭ, Кафедра ТиПГУ НИУ ВШЭ (в рамках серии научных семинаров НУГ «УПР 2.0»)

Постановка исследовательской задачи (1) Почему системы типа performance benchmarking используются неэффективно или недоиспользуются - исследователи выделяют два главных препятствия: 1. Люди (оцениваемые, в т.ч. их руководители) не готовы, не владеют навыками УПР предпочитают ситуационное поведение / ручное управление Нет достаточной политической поддержки Внедрения системы УПР склонны к манипуляции отчетными данными 2. Показатели никогда полностью не соответствуют требованиям по качеству (SMART и т.д.) имеются проблемы со сбором отчётных данных и, следовательно, с их объективным качеством сложная композиция (набор) показателей разных типов – невозможно использовать в управлении Но эти причины всегда переплетены – как же оптимизировать систему?

Российская система мониторинга и оценки эффективности деятельности ОМСУ (1) Президент РФ, Правительство РФ 83 Губернатора /Правительства субъектов РФ Более чем 3000 ОМСУ – администрации городских округов и муниципальных районов Более чем 3000 ОМСУ – администрации городских округов и муниципальных районов Устанавливает перечень показателей эффективности обязательных с точки зрения ежегодного сбора и публикации отчётных данных (40 показателей с 2013-го года, ранее было до 200 показателей, разных типов, без какой-либо структуризации) Устанавливает обязательство субъектов РФ оценивать эффективность и публиковать сводный доклад, рекомендует выдавать гранты победителям Собирает некоторое количестве отчётных значений (через Росстат) Устанавливает перечень показателей эффективности обязательных с точки зрения ежегодного сбора и публикации отчётных данных (40 показателей с 2013-го года, ранее было до 200 показателей, разных типов, без какой-либо структуризации) Устанавливает обязательство субъектов РФ оценивать эффективность и публиковать сводный доклад, рекомендует выдавать гранты победителям Собирает некоторое количестве отчётных значений (через Росстат) Предоставляют отчётные данные по некоторым показателям Публикуют на официальном сайте «Доклады о достигнутых значениях показателей для оценки эффективности деятельности ОМСУ) (отчетные/плановые значения за период с t-2 до t+3 и текстовые пояснения) Предоставляют отчётные данные по некоторым показателям Публикуют на официальном сайте «Доклады о достигнутых значениях показателей для оценки эффективности деятельности ОМСУ) (отчетные/плановые значения за период с t-2 до t+3 и текстовые пояснения) Устанавливают правила проведения оценки, в т.ч. Определяют, какие из 40 показателей войдёт в расчёт рейтинга эффективности. Предоставляют отчётные данные по некоторым показателям Анализируют доклады ОМСУ, рассчитывают рейтинги, дают гранты лучшим Устанавливают правила проведения оценки, в т.ч. Определяют, какие из 40 показателей войдёт в расчёт рейтинга эффективности. Предоставляют отчётные данные по некоторым показателям Анализируют доклады ОМСУ, рассчитывают рейтинги, дают гранты лучшим

Структура показателей оценки эффективности органов МСУ Министерство регионального развития Российской Федерации Количество Источники информации Экономическое развитие II Дошкольное образование Общее и дополнительное образование Культура Физическая культура и спорт Жилищное строительство и обеспечение граждан жильем Жилищно-коммунальное хозяйство Организация муниципального управления Структура Энергосбережение и повышение энергетической эффективности 2 2 I I II III VI V V VII IX

Постановка исследовательской задачи (2) Что хотели проверить исследованием: Сработала ли централизация при запуске системы оценки в плане обеспечения качества используемых показателей? Могут ли оцениваемые (в данном случае муниципальные служащие с достаточно низким уровнем подготовки к внедрению УПР) формулировать рациональные предложения по замене и уточнению показателей, используемых в оценке? Какие из параметров качества показателей являются важными для оцениваемых, повышают их доверие к системе? Какие типы показателей они предпочитают? Зависит ли это от возраста, опыта работы и должности респондента? Перед нами централизованная система бенчмаркинга эффективности, в которой основные проблемы связаны с имплементацией (ключевая проблема – ЛЮДИ в ОМСУ, а система показателей сформулирована на верхнем уровне специалистами с нужной квалификацией)

Конструкция исследования – техника проведения Детальный опрос (в формате сплошной экспертизы системы показателей) сотрудников ОМСУ, ответственных за сбор, консолидацию данных и их предоставление в правительство субъекта РФ (главным образом, замглавы и/или руководитель отдела экономики) Опрос проведён в онлайн-режиме с использованием инструмента SurveyMonkey Среднее время заполнения (если отвечать на все вопросы) - 70 минут Использовался метод мимикрии исследователя (маскировка под запрос правительств субъектов РФ с целью получения предложений по корректировке перечня показателей /обратной связи по их качеству) – но анонимность была обеспечена

Конструкция исследования - Вопросы (1) Какие из 40 базовых показателей (с Вашей точки зрения) должны быть использованы правительством субъекта РФ для расчёта рейтинга и определения перечня грантополучателей? – Выбрать 10 из 40 – Дать бинарный ответ по каждому показателю (Да|Нет)

1. Оцените степень влияния органов местного самоуправления на изменения значений показателя. Динамика полностью определяется ОИВ других уровней | 75/25 | 50/50 | 25/75 | | Динамика полностью определяется ОМСУ 2. Если ОИВ/ОМСУ не будут принимать никаких усилий …, какую динамику будет демонстрировать показатель в течение следующих трёх-пяти лет? быстро расти | медленно расти | быстро снижаться | медленно снижаться | будет колебаться вокруг среднего 3. Если в распоряжении ОМСУ имеются очень значительные свободные ресурсы …, насколько трудно в такой ситуации добиться улучшения значения показателя на 5% за год? невозможно | крайне сложно | 50/50 | не составляет труда Конструкция исследования - Вопросы (2) Каждый из сорока действующих показателей (а также все показатели, исключенные из системы с 2013-го года) было предложено оценить с точки зрения соответствия следующим параметрам качества:

Конструкция исследования - Вопросы (3) 4. Для оценки значения этого показателя ОМСУ может собрать (получить от других ОИВ) достоверную, полученную из надёжных источников информацию? Точно да| Скорее да | Скорее нет| Точно нет 5. Данные о значениях этого показателя, предоставляемые в Докладах глав других муниципальных образований, расположенных на территории моего субъекта РФ, достоверны? Вполне достоверны| Скорее достоверны | не всегда достоверны| Полностью недостоверны 6. Качество формулировки этого показателя? Сформулирован чётко | не достаточно отражает влияние именно ОМСУ| недостаточно отражает предмет оценки (узко, неточно) | Обладает двумя недостатками, сформулирован плохо 7. Включён ли этот показатель в какую-либо муниципальную целевую программу Вашего ОМСУ? ДА |НЕТ Каждый из сорока действующих показателей (а также все показатели, исключенные из системы с 2013-го года) было предложено оценить с точки зрения соответствия следующим параметрам качества:

Конструкция исследования – самоидентификация респондентов Возраст Должность (из списка) Опыт работы в ОМСУ (полных лет)

Конструкция исследования - география Тамбов Красноярск Кемерово Камчатка Курск 3 субъекта РФ помогли с организацией сплошного исследования, 2 субъекта РФ помогли только с ограниченным тестированием опросника. Все 5 субъектов РФ ведут активную политику оценки и рейтингования. Общее число респондентов (почти 100% всех ОМСУ трёх охваченных субъектов РФ)

Некоторые результаты / выводы

Портреты показателей системы (1) Quality parameter Description В1 (Local government influence) controlled by different level of government 25% controlled by local gov-t 50% controlled by local government 75% controlled by local gov-t 100% controlled by local gov-t ALL 10%14,01%17,66%16,98%41,34% SUPP 6%11,57%17,30%17,37%47,15% В6 (Specificity and relevance) Specific enough not precise in measuring local gov-t impact not precise in measuring target group) Not specific at all ALL 80,92%5,00%11,95%2,13% SUPP 84,37%7,10%7,64%0,87% Централизованная, координируемая сверху система почти не имеет проблем с корректностью формулировок показателей В централизованной системе госуправления ОМСУ приемлют даже такие показатели, которые находятся под существенным косвенным влиянием органов власти верхнего уровня

Портреты показателей системы (2) Quality parameter Description В2 (Objective behavior) will grow rapidly will grow slowly will decrease rapidly will decrease slowly will slightly fluctuate arnd avrg will significa ntly fluctuate arnd avrg ALL 26,20%7,05%26,87%8,52%27,40%3,96% SUPP 26,04%6,69%27,84%10,35%24,60%4,48% В3 (Comparative difficulty of optimization) 5% growth guaranteed if managed 5% growth is quite possible very hard to achieve 5% growth 5% growth impossible ALL 25,53%60,70%10,76%3,00% SUPP 28,17%61,56%8,27%2,00% Система оценки выстраивается вокруг приоритетных зон с различимым эффектом влияния, а также вокруг приоритетов с ясным целевым значением, но крайне неуправляемых (зоны медленных улучшений обойдены вниманием) Муниципалы не хотят иметь дело (быть оцениваемыми) по показателем, которые трудно оптимизировать

Портреты показателей системы (3) Quality parameter Description В4 (Trustworthy data - own) Totally reliable Generally reliable Big doubts | not preciseTotally unreliable ALL 71,74%23,78%3,65%8,34% SUPP 75,09%21,20%2,90%0,82% В5 (Trustworthy data - other municipalities ) Totally reliable Generally reliable Big doubts | not preciseTotally unreliable ALL 59,26%37,18%3,01%0,54% SUPP61,76%35,19%2,41%0,65% В централизованной, запущенной сверху системе оценки эффективности не менее актуальны консультации с оцениваемыми В частности, только оцениваемые без особых издержек могут определить пробелы в качестве собираемых отчётных данных

Динамика развития системы оценки Изменение состава показателей сверху не приводит каким-либо качественным улучшениям используемых показателей

Идеальный показатель результативности для ОМСУ. Какой он? (совпадение соответствующего параметра качества показателя с ответом этот показатель ДОЛЖЕН использоваться при оценке и расчёте грантов) Чёткость формулировки показателя (66,1%) Качество и достоверность собственных отчётных данных (65,3%) Качество и достоверность отчётных данных других ОМСУ региона (55,1%) Высокая вероятность 5%-ной оптимизации (54,2%)

Влияние возраста и стажа (1) А. Ветераны (55+) часто имеют принципиально другую позицию относительно целесообразности использования того или иного показателя для сопоставительной оценки (требуется более детальное исследование причин)

Влияние возраста и стажа (2) В. Молодые/новые сотрудники ОМСУ (характерно и для возраста до 30 и для стажаменее пяти лет) в целом: Менее уверены в достоверности данных конкурентов Более уверены в возможности существенной оптимизации показателей за короткий период (при наличии ресурсов) Считают более сильным влияние на показатель других органов власти

Набор требований к качеству показателей, используемых в системе сравнительной оценки эффективности и результативности деятельности SMART Specific (Конкретный) Measurable (Измеримый) Achievable (Достижимый) Relevant (Актуальный) Time-bound (Ограниченный во времени) 1) Четко отражает предмет оценки (И) 1) Возможность получить достоверные исходные отчётные данные (И) 1) Степень влияния других уровней власти (И?) 1) Включение в собственные стратегически е документы 1)Трудность оптимизации показателя (К) 1) Объективная (неуправляе мая) динамика (К) 2) Доверие к данным других ОМСУ (И) 3) ???

What it all was about? One: Comparative performance assessment system launched and operated by the higher-level government has certain advantages but owner of such system should pay much attention to the local feedback about the general quality of performance data Two: Attitude to the measures reflects the people – their age, abilities and relationship inside local authority. Such analytics itself is a tool for managing the performance e.g.: Drop off good titles if good data on them can hardly be collected or improve the system of recording and collection e.g.: e.g. hard measures should be assigned to young public managers with less experience – they do not afraid to work with them, pay much attention to the quality of rivals data, therefore they can better find the ways of small but real improvement