Современные подходы к формированию и представлению социальных рейтингов по образованию Тюрина Наталья Владимировна заместитель руководителя Центра социальных рейтингов РИА Новости Учебный курс «Национальные экзамены и мониторинги образовательных достижений школьников: роль и место в национальной системе оценки качества образования» сентября 2012 года, г. Минск

Три вопроса, которые мы сегодня обсудим Что такое социальные рейтинги, кому и зачем они нужны? Как сделать социальный рейтинг, результатам которого будут доверять и специалисты и непрофессионалы? Всероссийский рейтинг школ повышенного уровня: о чем говорят первые уроки?

Вопросы для обсуждения Используете ли вы результаты рейтингования в своей профессиональной деятельности? Если да, то с какой целью? Если нет, то почему? Формируете ли вы собственные рейтинги? Если да, то с какой целью? Если нет, то почему?

Как правило рейтинги делаются Для поддержки развития национальной образовательной системы в контексте международного пространства (средство трансляции стандартов, значимых для автора) Для определения приоритетов внутри развития системы (средство политического влияния) Для формирования культуры выбора услуг социальной сферы (средство изменения социальных представлений о качестве социальных услуг)

Кому и зачем нужны рейтинги? (по данным опроса РИА Новости – февраль-март 2012 года)

Например:

Выбор варианта представления определяется Информационными потребностями целевой аудиторией, на которую ориентирован информационный продукт Целями формирования информационного продукта (для чего формируется, на что хотим повлиять? – цели заказчика)

Например: Если хотим задать приоритеты развития системы Если хотим дать информацию для выбора

Поэтому рейтингов может быть много и они могут быть различные, так как ориентированы на разные целевые группы (одного информационного продукта, ориентированного на разные целевые группы быть не может) преследуют разные цели (один и тот же информационный продукт, не может работать и на развитие системы, и на инспекцию по выполнению поставленных задач) строятся как внутри системы, так и на внешних площадках

Но создаваемые и рейтинги должны отвечать, установленным сегодня международным стандартам : сегодня в их основе лежат «Правила аудита рейтингов (IREG Ranking Audit Rules)» (приняты 1617 мая 2011 г. ) ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД – 3 критерия МЕТОДОЛОГИЯ – 7 критериев ПУБЛИКАЦИЯ И ПРЕЗЕНТАЦИЯ РЕЗУЛЬТАТОВ – 4 критерия ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ – 6 критериев

Например (публикация):

Качество каждого рейтинга обеспечивается

Таким образом, сегодня рейтинги должны иметь качественную методологию, прошедшую достойную доверия экспертизу должны иметь качественный инструментарий сбора данных на основе достойных доверия источников должны представляться (публиковаться) на достойной доверия (со стороны потребителей) площадке должны использовать все имеющиеся формы и способы представления информации (быть мультимедийным по своему характеру) – так как у разных потребителей разные особенности восприятия информации (здесь фактически действуют те же принципы, что в рамках работы учителя на уроке в школе) должны иметь механизмы обратной связи с читателем (блоги, чаты, форумы)

Рассмотрим пример формирование такого социального рейтинга на кейсе «Рейтинга школ повышенного уровня РФ» :

Рейтинг вышел (на странице «Социальные рейтинги» РИА Новости) Пилотная версия (три региона: Московская, Самарская, Новосибирская области школы) – 27 сентября 2011 года ( Версия по итогам широкомасштабной апробации (восемь регионов: Москва – по желанию, Московская, Самарская, Новосибирская, Иркутская области, Республика Удмуртия, Пермский и Красноярский Край – 597 школы) - 14 февраля 2012 года (

Шаг 1 – разработка Концепции рейтинга: Для чего делается этот рейтинг ? – для формирования информационной основы выбора школы на основе данных внешней независимой оценки Кто его читатель? - основные: родители учащихся школ (все возрастные группы), жители регионов опосредованные: руководители школ, руководители органов управления образованием (региональные, муниципальные) Кто его участники? – школы повышенного уровня (лицеи, гимназии, школы с углубленным изучением отдельных предметов) российских регионов Характер участия в рейтинге? – обязательный для всех школ повышенного уровня Период обновления данных? – ежегодно Источники данных? – только внешние и проверяемые Формы представления? – по объектно, по каждому региону отдельно

Шаг 2 – разработка Методики рейтинга: Предмет оценки? – условия и результаты обучения в школах повышенного уровня Направления оценки? - определяются на основе предварительной оценки информационного запроса потенциальной читательской аудитории (приоритет отдается позициям значимым для родителей учащихся): доступность обучения; условия обучения; результаты обучения; возможность индивидуального развития учащихся; Критерии (индикаторы) оценки? – выбираются на основе приоритетности информационного запроса родителей отражают результаты деятельности школы (не процессы) обеспечивают сопоставимость результатов оценки: между разными школами в одном регионе, между школами разных регионов, во времени Источники данных? – внешние и проверяемые источники (федеральная и региональная статистика, сайты школ, доп. Анкетирование) Математическая модель расчета результатов оценки по каждому объекту? – по отношению к средней по массиву данных, приведенных к сопоставимому виду Модель формирования рейтинга? - от большего к меньшему по всему массиву объектов (вне зависимости от региональной принадлежности)

Шаг 3 – экспертиза Методики, включает три уровня: 1 уровень – в рамках Центра социальных рейтингов РИА Новости – на соответствии Концепции рейтинга 2 уровень - (внешняя экспертиза) – в рамках международного Экспертного совета по образованию РИА Новости – на корректность и адекватность современным требованиям избранного содержательного подхода к оценке, направлений и критериев оценки, используемых в методике терминов и определений (внутренняя экспертиза) – в рамках РИА Новости на базе рейтингового агентства «РИА Рейтинг» – на соответствии международным требованиям к рейтингам и корректности используемой математической модели 3 уровень – Проведение пилота по разработанной методике – на выборке трех регионов (Самарская, Новосибирская, Московская области – 392 школы) Проведение апробации – на выборке восьми регионов (597 школ) (Москва – по желанию, Московская, Самарская, Новосибирская, Иркутская области, Республика Удмуртия, Пермский и Красноярский Край)

Шаг 4 – сбор и выверка данных: Сбор данных федерального статистического наблюдения Сбор региональных баз по школам (на основе открытых источников – сайты школ и сайты региональных органов управления образованием – Центром социальных рейтингов РИА Новости) и их выверка с участием региональных координаторов проекта (как правило - РЦОКО) Сбор дополнительных данных со школ (по разработанному опроснику) - с участием региональных координаторов проекта (как правило - РЦОКО) Проверка доп. данных проводится трижды: В регионе В федеральном центре обработки данных проекта В Центре социальных рейтингов РИА Новости

Шаг 5 – обработка данных и проведение оценки: Приведение данных к сопоставимому виду Расчет значений индикаторов для каждого объекта – школы Расчет комплексных показателей по каждому направлению оценки для каждого объекта – школы, по всем направлениям в целом Расчет средних по общему массиву (определение максимальных и минимальных значений по каждому направлению оценки) Проведение оценки для каждого объекта – школы (оценка отклонения от среднего между определенными максимальным и минимальным значением) Формирование частных и сводного рейтингов Проведение анализа по результатам оценки и описание полученных результатов (интерпретация)

Шаг 6 – Подготовка к публикации: Разработка Концепции представления полученных материалов (определение форм и способов): – Рейтинг представляется как в целом по РФ, так и по отдельным регионам (но в значениях оценки, проведенной по общему массиву) (в формате интерактивной карты – по каждому региону отдельно, полную версию – без разбивки по регионам можно посмотреть в отдельном файле в PDF) Так же на карте читатель может увидеть число таких школ в регионе и сколько их приняло участие в рейтинге – Рейтинг представляется как комплексный, так и по отдельным направлениям оценки. При этом читателю дается возможность увидеть расширенную версию – в виде набора рэнкингов (версия для руководителей школ и профессионалов) – Рейтинг содержит как данные оценки, так и контекстную информацию – профиль школы, наличие конкурентной среды, ее местонахождение, наличие дополнительных услуг, интерактивный адрес сайта школ

Шаг 6 – Подготовка к публикации: Разработка дизайна рейтинга (макеты и шаблоны) «Заливка» данных Подготовка текста аналитической статьи с комментариями и мнениями экспертов разного уровня, сопровождающей рейтинг и объясняющей непрофессиональному читателю его результаты Подготовка новостного контента (анонсы и новости, как на федеральных, так и на региональных лентах и ресурсах) Подготовка пресс-мероприятий – Пресс-конференций и круглых столов по результатам рейтингам Выход социального рейтинга – всегда общественное событие и важно, чтобы все заинтересованные стороны могли высказать свои мнения и позиции в этой связи открыто и публично

Рейтинг вышел 14 февраля 2012 года на станице «Социальные рейтинги» РИА Новости: a/ / html

Таким образом, создание социального рейтинга это работа большой команды профессионалов: менеджеров, которые управляют всеми процессами – от момента формирования Концепции рейтинга до момента его публикации экспертов – разработчиков Методики и инструментария экспертов – аналитиков экспертов внутренних и внешних, которые читают все материалы и дают конструктивные предложения и советы региональных координаторов, которые обеспечивают своевременное получение необходимой информации редакторов баз данных – которые, обеспечивают достоверность данных дизайнеров программистов журналистов продюсеров сотрудников пресс-служб

Основные уроки реализации первого года проекта: Политические: неготовность региональных органов исполнительной власти к введению реальных процедур внешней независимой оценки качества образования; но готовность использовать результаты рейтинга для наказания и поощрения директорского корпуса в регионах. Методологические: непонимание методологии проведения оценки со стороны специалистов региональных образовательных систем. Лингвистические: непонимание терминологии и цифровых значений, используемых в рамках оценки, со стороны родительского сообщества.

Основные уроки реализации первого года проекта: Политические: результаты проведенной в рамках рейтинга оценки стали информационной основой для рассмотрения вопроса школ «повышенного уровня» в рамках Стратегии 2020 А сам проект получил профессиональное признание: «Перспективным является развитие национальных и региональных информационных Интернет- сервисов, обеспечивающих поддержку потребителя в поиске и осознанном выборе образовательных организаций и услуг. Первым успешным примером такого рода является проект «Социальный навигатор», реализуемый РИА-Новости» [Стратегия 2020: Развитие сферы образования и социализации в Российской Федерации в среднесрочной перспективе. Доклад экспертной группы «Новая школа». С.29 // Вопросы образования. 1, 2012].

Что дальше? Рейтинг муниципальных (государственных) дошкольных образовательных учреждений восьми регионов РФ – сентябрь 2012 года Рейтинг сайтов региональных органов управления образованием – сентябрь 2012 года Рейтинг школ повышенного уровня РФ – в феврале 2013 года Рейтинг сайтов школ РФ – в первом квартале 2013 года На данном этапе в проекте участвует 35 регионов Российской Федерации

Прямой диалог – что осталось за кадром Буду благодарна вам за вопросы

СПАСИБО ЗА ВНИМАНИЕ! Наталья Тюрина Заместитель Руководителя Раб. тел.: 8 (495) доб Моб. тел.: