1 Последние разработки по вопросам качества в ЕСС Семинар высокого уровня для стран Восточной Европы, Кавказа и Центральной Азии Клаудиа Юнкер, Евростат, Руководитель Отдела «Статистическое взаимодействие»

2 Содержание Основные Европейские инициативы в вопросах качества Кодекс норм Европейской статистики Обзор Кодекса норм Европейской статистики Программа по оценке качества ЕСС 4-ый уровень: Специальный контроль качества Отчеты по качеству Контроль качества в Евростате, оценка качества Заключение

3 Основные Европейские инициативы в вопросах качества Европейское совещание по качеству 2001 – 2012 – Кодекс норм Европейской статистики 2005 Новое Европейское статистическое законодательство 2009 Финансирование по качеству 2009 – 2011 –Тема I: Обновленный Кодекс норм –Тема II: Разработанная программа по оценке качества –Тема III: Полученные рекомендации по отчетам (качество коммуникации) Коммуникации 211 –«К устойчивому управлению качеством в Европейской статистике» в 2011 году (превентивное управление качеством, обзор статистического законодательства) –Обязательство сохранения конфиденциальности в статистике

4 Комиссия по вопросу «К устойчивому управлению качеством в Европейской статистике» Необходимо для –укрепления законодательных рамок, и –перехода от коррекционного подхода к превентивному подходу в управлении качеством в Европейской статистике Цель: –устранить слабые стороны (из опыта предыдущих лет) –повысить качество Европейской статистики в целом. Коммуникация строится на существующей структуре управления и имеет 2 рабочие линии

5 «К устойчивому управлению качеством в Европейской статистике» (продолжение) Рабочая линия 1: дальнейшее укрепление управления Статистической системы ЕС укрепление функции Кодекса норм Европейской статистики за счет введения поправок в положения статистического законодательства принцип профессиональной независимости Национальных институтов статистики применим в безусловном порядке. мандат Национальных институтов статистики по сбору данных, когда данные доступны только у административного источника. внедрение обязательства «Сохранения конфиденциальности в статистике» - позволяет прочнее укрепить Кодекс норм в статистическом законодательстве Минимальные стандарты применимы ко всем областям статистики.

6 «К устойчивому управлению качеством в Европейской статистике» (продолжение) Рабочая линия 2: Превентивный подход к определению статистики государственного финансирования (электронная обработка данных). оценка качества поточной (основной) статистики и дальнейшая оценка качества перевода основных данных в стандарт ESA способствовать стандартизации государственного бюджета упреждающее управление оценки рисков коррекционные меры дополнительные полномочия Евростата по использованию системы или регулярного мониторинга и верификации потоковой статистики государственного финансирования.

7 Кодекс норм и его применение Цель Пример Соответствие Последние изменения Новые индикаторы Публикация Программа по оценке качества Специальный контроль качества

8 Кодекс норм Европейской статистики Охватывает большинство вопросов оригинальной Декларации Качества 2001 Общие принципы управления качеством, упомянутые в введении –Обязательство лидерства –Партнерство –Удовлетворенность персонала –Постоянное улучшение Институциональная среда Статистические процессы Статистические данные Пользо- ватели

9 Кодекс норм – цель Устанавливает стандарты по развитию, производству и публикации Европейской статистики Саморегулируемый 15 принципов описывают стандарты, применимые к –Институциональной среде –Статистическим процессам –Статистическим данным Для каждого принципа существуют индикаторы, показывающие, как можно достичь соответствия Упоминается в Регламенте по Европейской Статистике (Регламент 223/2009)

10 Кодекс норм – пример Принцип 8 Обоснованные статистические процедуры, применение которых начинается от сбора и заканчивается проверкой правильности данных Индикатор 8.6 Проверка после стандартных, общепризнанных и прозрачных процедур

11 Кодекс норм – соответствие Национальная самооценка в 2005 Внешняя независимая экспертиза в Ежегодный мониторинг и отчетность (Евростат и Консультативный совет Европейской статистики по управлению ) Следующий этап национальной экспертизы предусмотрен в 2013

12 Кодекс норм – последние изменения Пересмотр Финансовой поддержки по качеству в 2011 (Тема I) Отдельное упоминание управления качеством, профессиональной независимости и административных данных Декларация качества 2001 как вступление: Взгляды, функции и ссылки ЕСС на общие принципы управления качеством Поддержка структуры качества статистики статистического законодательства и ЕЦБ Некоторые редакторские изменения Девять новых индикаторов

13 Кодекс норм – новые индикаторы (1) Правила назначения и увольнения руководителя Национального института статистики (1.8) Политика качества и управление качеством (4.1) Заблаговременное предупреждение о крупных изменениях (6.6) Использование административных источников данных (8.7, 8.8, 8.9) Объединение данных (9.6) Стандартизация (10.4) Индикатор 15.6 разбит на 2 (15.6, 15.7)

14 Кодекс норм – новые индикаторы (2) Правила назначения и увольнения руководителя Национального института статистики: индикатор 1.8 касается назначения и увольнения руководителей статистических учреждений. Это должно происходить независимо от политических обстоятельств. Индикатор 1.8: Назначение руководителей Национальных институтов статистики и Евростата и, при необходимости, других статистических учреждений, должно основываться только на профессиональной компетенции. Причины, по которым руководитель может быть отстранён от должности, определяются правовой системой. Эти причины должны исключать факты, компрометирующие профессиональную или научную независимость.

15 Кодекс норм – новые индикаторы (3) Политика качества и управление: Принцип 4 (Обязательство по обеспечению качества) и его индикаторы были сформулированы заново. Теперь индикаторы сконцентрированы на политике качества и процедурах, а не на качестве статистики как таковой. Принцип 4: Обязательство по обеспечению качества. Все статистические учреждения обязуются соблюдать качество. Они систематически и регулярно должны выявлять сильные и слабые стороны, чтобы постоянно улучшать качество процессов и продукции. Индикатор 4.1: Качество статистической продукции проверяется и является общедоступным. Необходима соответствующая организационная структура и инструменты, чтобы обеспечить управление качеством.

16 Кодекс норм – новые индикаторы (4) Заблаговременное предупреждение о крупных изменениях Индикатор 6.6 отмечает заблаговременное предупреждение о крупных изменениях в методологии. Индикатор 6.6: В случае крупных изменений в методологии, о них следует сообщать заранее.

17 Кодекс норм – новые индикаторы (5) Использование административных источников Индикаторы 8.7 – 8.9 – укрепить мандат статистических учреждений на сбор данных из доступных административных записей, объясняя их роль в разработке содержимого административных записей и требований к качеству, применимых к административным записям Индикатор 8.7: Статистические учреждения принимают участие в разработке административных данных, чтобы эти данные больше подходили для статистических целей. Индикатор 8.8: Заключаются соглашения с владельцами административных данных, которые выражают согласие на использование их данных в статистических целях. Индикатор 8.9: Статистические учреждения сотрудничают с владельцами административных данных в обеспечении качества этих данных.

18 Кодекс норм – новые индикаторы (6) Объединение данных Индикатор 9.6 перечисляет меры, способствующие объединению источников данных для снижения временных затрат

19 Кодекс норм – новые индикаторы (7) Стандартизация Индикатор 10.4 касается стандартизации. Индикатор 10.4: Статистические учреждения разрабатывают и реализуют решения по стандартизации, которые повышают эффективность и результативность. Информация о качестве статистики: Индикатор 15.7 был добавлен в качестве отдельного индикатора, чтобы повысить важность информирования пользователя относительно качества статистических выходных данных. Индикатор 15.7: Пользователи осведомлены относительно качества статистических выходных данных относительно критериев качества Европейской статистики.

20 Кодекс норм – новые индикаторы (8) Стандартизация Индикатор 10.4 касается стандартизации. Индикатор 10.4: Статистические учреждения разрабатывают и реализуют решения по стандартизации, которые повышают эффективность и результативность. Информация о качестве статистики: Индикатор 15.7 был добавлен в качестве отдельного индикатора, чтобы повысить важность информирования пользователя относительно качества статистических выходных данных. Индикатор 15.7: Пользователи осведомлены относительно качества статистических выходных данных относительно критериев качества Европейской статистики.

21 Кодекс норм – публикация Обновленный сайт Евростата C.pdf Публикация листовок

22 Программа по оценке качества

23 Программа по оценке качества – 3-ий уровень Уровень 1 = Принципы (стандарты) Уровень 2 = Индикаторы (иллюстрация стандартов и немного рекомендаций по методам и инструментам) Уровень 3 = Программа по оценке качества (общее руководство) Действия, методы и инструменты, которые можно использовать для внедрения стандартов Кодекса норм на институциональном уровне Действия, методы и инструменты, которые можно использовать для внедрения стандартов Кодекса норм на уровне составляющих/исследований Справочная документация

24 Программа по оценке качества - пример Принцип 8 Обоснованные статистические процедуры, применение которых начинается от сбора и заканчивается проверкой правильности данных, лежат в основе качественной статистики Индикатор 8.6 Проверка после стандартных, общепризнанных и прозрачных процедур Methods of implementation Guidelines on revision of published statistics exist, are applied and made known to users Revisions accompanied by explanations made available to users Quality indicators on revisions are calculated and published

25 Программа по оценке качества ЕСС – пример Принцип 8 Обоснованные статистические процедуры, применение которых начинается от сбора и заканчивается проверкой правильности данных, лежат в основе качественной статистики Индикатор 8.6 Проверка после стандартных, общепризнанных и прозрачных процедур Методы на институциональном уровне - Руководства и принципы относительно существующих изменений - Регулярные действия по внедрению методологических улучшений Методы на уровне составляющих/исследований - Обоснования и публикации изменений - Публикация качественных индикаторов по изменениям

26 Программа по оценке качества ЕСС – пример Принцип 11 Европейская статистика удовлетворяет нужны пользователей Индикатор 11.1 Действуют процедуры проведения консультаций с пользователями, проверки актуальности и практической пользы существующих статистических данных относительно потребности пользователей в настоящее время, а также определения их потребностей и приоритетов в будущем Методы на институциональном уровне - Юридические обязанности по консультации пользователей - Регулярные и структурные консультации - Анализ использования статистики Методы на уровне составляющих/исследований - Регистрация ключевых пользователей - Индикаторы качества, где уместно

27 Программа по оценке качества ЕСС 10 принципов, 53 индикатора (Принципы Кодекса норм ) Внедрение методов, предназначенных для каждого индикатора Содержит методы и инструменты на институциональном уровне и уровне процесса Содержит ссылки на соответствующую справочную документацию Содержит руководства по соответствию требованиям экспертов Методам не присвоены приоритеты Гибкие рамки, которые со временем можно расширять и улучшать Не касается узко специальных вопросов…

28 Программа по оценке качества Уровень 1 = Принципы (стандарты) Уровень 2 = Индикаторы (иллюстрация стандартов) Уровень 3 = Программа по оценке качества (какие действия, методы и инструменты можно использовать) Уровень 4 = Специальная гарантия качества, адаптированная к нуждам процесса (например, сертификация) - четвертый уровень

29 Программа по оценке качества Уровень 1 = Принципы (стандарты) Уровень 2 = Индикаторы (иллюстрация стандартов) Уровень 3 = Программа по оценке качества (какие действия, методы и инструменты можно использовать) Уровень 4 = Специальная гарантия качества, адаптированная к нуждам процесса (например, сертификация) - четвертый уровень

30 Отчет по качеству (Тема III) Обзор рекомендаций и требований ЕСС по отчетам по качеству Определение отчетов, ориентированных на производителя и пользователя Единая структура метаданных используется для составления всех отчетов (создана новая целевая группа) Подготовка методического руководства для поддержки структуры и шаблона (также включено в работу целевой группы) Использование общих ИТ-инструментов ЕСС Распространение отчетов, ориентированных на пользователя, среди широкой аудитории, в то время как отчеты, распространенные на производителей, распространяются только среди производителей Регулярные взаимодействия с целевыми группами Обзор содержания отчетов по качеству, включая индикаторы качества (отдельная целевая группа) Внедрение вебсайтов, демонстрирующих соответствие Кодексу норм

31 Оценка качества в Евростате

32 Что такое оценка качества? Систематический обзор и оценка всех этапов статистического процесса с использование стандартного оценочного перечня ИТ-условия; Управление, планирование и законодательство; Персонал, рабочие условия и компетенция Нужды пользователя Сбор данных Проверка Конфиден- циальность Распрос- транение Документация Поэтапный процесс

33 Почему мы следим за процессами? Качество продукта – это качество выходных данных –Шесть параметров качества: необходимость, точность, своевременность и пунктуальность, доступность и ясность, сопоставимость и согласованность Однако качество выходных данных определяется основным процессом –Улучшение качества процесса – ключевой фактор

34 Концептуальные рамки ИТ-условия – Управление, планирование и законодательство – Персонал, рабочие условия и компетенция Нужны пользователя Сбор данных Проверка На уровне страны На уровне Евростата Конфиден- циальность Распрос- транение Документация Follow-up НЕОБХОДИМОСТЬТОЧНОСТЬДОСТУПНОСТЬ/ ЯСНОСТЬ СВОЕВРЕМЕННОСТЬ/ ПУНКТУАЛЬНОСТЬ СОПОСТАВИМОСТЬСОГЛАСОВАННОСТЬ Связь между процессом и качеством выходных данных

35 Категории оценок Евростата Самооценка с поддержкой Независимая экспертиза Повторная экспертиза Процесс 1 Процесс 4 Процесс 2 Процесс 3 Свойства: - Периодичность - Правовая основа - Выход - Вмешательство ЕСТАТ Сходство: Оценочный перечень, выходные данные Различие: объем внешнего вмешательства в обзор Процесс 5

36 Контрольный перечень оценки

37 Выходные данные оценки (1) Сводный экспертный отчет Основные преимущества Основные недостатки Рекомендации по улучшению Действие ОтветственныйПлан 1 Статус 2 Проверка (уровень страны) Получены полные данные и метаданные от стран (регулярные отчеты о качестве, включая информацию об уровнях неполучения данных, оценочных значениях и т.д.) Регулярное обновление методологических руководств ESTAT для сбора данных Разный уровень информации, представленной странами в отчетах о качестве Средний и высокий уровень неполучения данных Повышение уровня полноты страновых отчетов о качестве Продвижение действий стран для достижения эффективного объема выборки Подразделение F.3 Среднесрочный Проверка (Уровень ESTAT ) Универсальная система проверки данных. Разработанные и удобные для пользователя приложения ССА (обмен между странами для обработки данных на их уровне), хорошая практика Постоянное развитие инновационных методов для анализа данных (т.е. выявление отклонений, индикаторы проверки и т.д. ) (хорошая практика) Ограниченная оценка методов определения, используемых для сводных показателей Нет оценки потенциальных отклонений сводных показателей Создание процедуры определения сводных показателей Получение сведений о потенциальных отклонениях Подразделение F.3 Краткосрочный Среднесрочный

38 Выходные данные оценки (2) Согласованность Общая согласованность Своевременность Своевременность окончательной публикации Точность Общая точность Необходимость Удовлетворенность пользователя Доступность и ясность Общее качество метаданных Сопоставимость с течением времени Comparability across countries Схема оценки

39 Выходные данные оценки (3) Выделение положительного опыта в организациях

40 Полученный опыт, текущие задачи Регулярные совещания проходят через два года после оценки Постоянный мониторинг внедрения действий по улучшению, как на организационном уровне, так и на уровне процессов Единые вопросы, адресованные на институциональном уровне Около 90% из 130 статистических процессов Евростата прошли оценку Отчет об оценке 4-летнего опыта был составлен и в настоящий момент обсуждается/утверждается

41 Заключение Кодекс норм был пересмотрен и вступил в силу Программа по оценке качества ЕСС собирается издать практическое руководство по внедрению Кодекса И то, и другое можно будет получить в статистическим учреждении Вопросы отчетности по качеству будут решаться Целевой группой в 2012 Специализированные подходы к управлению качеством могут рассматриваться как следующий уровень контроля качества Оценка качества – это мониторинговый инструмент, который способствует улучшению качества статистических процессов и выходных данных Спасибо