Рейтинги в образовании Учебный курс «Актуальные вопросы использования результатов оценки учебных достижений школьников на разных уровнях системы образования» сентября 2013 года, г. Ереван, Республика Армения И.А. Вальдман директор Российского Тренингового центра ИУО РАО СЕССИЯ 10

ОПРЕДЕЛЕНИЕ РЕЙТИНГА Рейтинг (англ. rating) – классификация или ранжирование кого-либо или чего-либо, основывающееся на сравнительной оценке его качества, соответствия стандарту или достижений. Оксфордский словарь Рейтинг – классификация или упорядочивание объектов посредством присвоения им некоторого числового значения на основе оценки их свойств.

Подходы к упорядочиванию объектов Подмножества, кластеры КЛАСТЕРИЗАЦИЯ. Строится на основе совокупности характеристик или признаков РЕЙТИНГОВАНИЕ. Строится на основе линейного упорядочивания по числовому значению

КЛАСТЕРИЗАЦИЯ. Пример 1. Доступность качественного общего образования Кластеризация проводилась на основе двух групп параметров. Группы ОУ по процессу Школы не имеющие ни статуса, ни специализации Школы имеющие статус или специализацию, с низкой долей учителей с вышей категорией (УВК) Школы имеющие или статус или специализацию, с высокой долей УВК Школы имеющие и статус и специализацию, в подавляющем большинстве имеющие высокую долю УВК Группы ОУ по результату Доля учащихся, имеющих более 70 баллов по ЕГЭ Доля учащихся поступивших в вуз Проект НФПК по оценке доступности качественного общего образования

КЛАСТЕРИЗАЦИЯ. Пример 2. Анализ результатов ЕГЭ в Чувашской Республике Кластер 1 Городские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных Кластер 2 Городские общеобразовательные школы (более 50 выпускников 11 классов) Кластер 3 Городские общеобразовательные школы (менее 50 выпускников 11 классов) Кластер 4 Сельские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов, ресурсные центры Кластер 5 Сельская общеобразовательная школа (25 и более выпускников 11 классов) Кластер 6 Сельская общеобразовательная школа (от 15 до 25 выпускников 11 классов) Кластер 7 Малочисленные сельские общеобразовательные школы (менее 15 выпускников 11 классов) Боченков С.А. Анализ и интерпретация результатов ЕГЭ. Параметры кластеризации Тип образовательного учреждения Вид образовательного учреждения Тип местности, размер населённого пункта Размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки)

КЛАСТЕРИЗАЦИЯ. Пример 3. Национальный мониторинг учебных достижений школьников NAPLAN, Австралия В целях представления результатов национального мониторинга по группам школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage) – ICSEA. ICSEA учитывает следующие параметры: количество учащихся в школе; данные по занятости и образованию родителей учеников; социо-экономические характеристики места проживания ученика; местонахождение школы (столица, регион либо удаленная территория); доля учеников из семей, где английский язык не является родным; доля учеников из коренного населения страны.

Модели рейтингования Интегральный рейтинг. Строится на основе сводного индекса, агрегирующего базовые индикаторы. Каждый из базовых индикаторов должен иметь свой весовой коэффициент (веса устанавливаются в зависимости от приоритетов). Используется для выработки или реализации политики. Частный рейтинг. Строится на основе отдельных индикаторов. Ориентирован на конкретную группу пользователей информации.

ИНТЕГРАЛЬНЫЙ РЕЙТИНГ. Пример 1. РИА Новости, «Социальный навигатор»

Пример 2. Рейтинг 300 московских школ по результатам образовательной деятельности

Пример 2. Рейтинг 300 московских школ по результатам образовательной деятельности Рейтинг школ составляется на основании двух объективных показателей: результаты ЕГЭ и результаты участия школьников в олимпиадах. 1 балл – за каждого обучающегося, набравшего в сумме за три ЕГЭ не менее 220 баллов; 1 балл – за каждого призера регионального этапа Всероссийской олимпиады школьников и Московской городской олимпиады школьников; 3 балла – за каждого победителя регионального этапа данных олимпиад; 5 баллов – за каждого призера заключительного этапа Всероссийской олимпиады школьников; 10 баллов – за каждого победителя заключительного этапа Всероссийской олимпиады школьников. При одинаковом количестве баллов в рейтинге учитываются результаты ГИА-9: 1 балл – за каждого обучающегося, получившего по двум обязательным предметам (русский язык и математика) не менее 9 баллов в сумме по 5-балльной шкале.

ЧАСТНЫЙ РЕЙТИНГ. Пример 3. РИА Новости, рейтинг школ повышенного уровня

Пример 4. Единый портал пермского образования

Пример 4. Единый портал пермского образования Качество образования учащихся

Пример 5. Рейтинг средних школ графства Корнуолл на 2011 (league tables, сайт BBC News) Название школы % сдавших English Baccalaureate % успешно сдавших 5 GCSE или аналогичных экзаменов % успешно сдавших 5 GCSE Прогресс учеников % получивших 3 оценки «А» или аналог Среднее число пунктов при сдаче экз. A/AS уровня

МНЕНИЯ ПРОФЕССОНАЛОВ

Рейтингов может быть много и они могут быть различные, так как ориентированы на разные целевые группы (одного информационного продукта, ориентированного на разные целевые группы быть не может) преследуют разные цели (один и тот же информационный продукт, не может работать и на развитие системы, и на инспекцию по выполнению поставленных задач) строятся как внутри системы, так и на внешних площадках © РИА Новости

РЕЙТИНГ (одно из возможных определений): - это одна из форм представления результатов сравнительной оценки каких-либо объектов по значимым для потребителей рейтинга характеристикам. © ИВ Селивёрстова, МАМСО

МОДЕЛИРОВАНИЕ РЕЙТИНГА Расчет Корректировка модели УНИВЕРСАЛЬНОЙ МОДЕЛИ РЕЙТИНГА НЕТ! Выбор модели зависит от: Цели рейтинга Специфики запроса адресата Наличия исходных данных Особенностей расчета и т.д. © ИВ Селивёрстова, МАМСО

ИНТЕРПРЕТАЦИЯ и ПРЕДСТАВЛЕНИЕ РЕЙТИНГА Составление рейтинга – это только первый шаг! Анализ и интерпретация Форма визуализации Методы представления Программа представления Описание рисков и предотвращение негативных последствий © ИВ Селивёрстова, МАМСО

Что осталось «за кадром»? Разработка индикаторов и их весов. Требования предъявляемые к первичным показателям и расчетным индикаторам Специфика сбора, проверки и обработки данных Обеспечение корректности сравнения Манипуляции при расчетах Способы учета контекста И т.д. © ИВ Селивёрстова, МАМСО

Использование результатов рейтингования Работа с «верхней» частью рейтинга. Определение «лидеров» для: поощрения пропаганды успешного опыта информирования родителей (выбор школы) создания позитивного имиджа ОУ Работа с «нижней» частью рейтинга. Определение «неуспешных» для: оказания целевой помощи наложения санкций стимулирования улучшения работы ОУ информирования родителей (выбор школы) Работа со всеми объектами рейтинга требует использования кластеризации.

Использование результатов: возможные решения Родители Выбор или смена школы (с учётом и других источников информации) Учителя Корректировка собственной работы и методического объединения по предмету Администрация школы и Управляющий совет ОУ Планирование мероприятий по улучшению качества работы школы и/или поддержка сильных сторон деятельности. Учёт при проведении самооценки. Органы управления образованием Выработка образовательной политики Пропаганда позитивного опыта Формирование целевых программ поддержки конкретных ОУ.

Использование результатов: проблемные вопросы* Три основных аргумента «против» публикации рейтингов 1.Ненадежность рейтингов как индикатора качества школьной программы и преподавания, поскольку они: не учитывают внешкольных влияний на учебные достижения нередко становятся объектом манипуляций и мошенничества не учитывают статистических погрешностей в результатах тестов 2.Рейтинги скорее вредят преподаванию, чем помогают ему приоритет у предметов, по которым проводится тест, в ущерб остальным стандартизированная подготовка к тестам вместо углублённого изучения предметов ставка на успешных учеников в ущерб работе с неуспевающими «инфляция» результатов теста – т.е. с каждым годом результаты «завышаются» конкуренция школ вместо сотрудничества 3.Социальная сегрегация школ выборочный прием школами учеников из обеспеченных семей, и наоборот, выбор «статусной» школы родителями *Источник SCHOOL LEAGUE TABLES – SUCCESS OR DISASTER? SCHOOL LEAGUE TABLES – SUCCESS OR DISASTER?

Ещё один проблемный вопрос: манипуляция рейтингами Закон Кемпбелла (Campbell, 1976). Чем больше используются количественные социальные показатели в принятии социальных решений, тем больше будет коррупционное давление и тем сильнее искажаются социальные процессы, изначально подпадающие под мониторинг. Когда достижение некоторого индикатора (показателя) становится целью, он перестает быть хорошим индикатором (показателем). Если экзаменационные отметки становятся целью учебного процесса, то они теряют индикативную ценность и искажают его нежелательными способами.

Примеры манипуляции. Рейтинги университетов. Цитирование Хорошо продуманная и организованная акция, направленная на повышение индекса цитирования, может позволить сотрудникам университета заметно подняться в рейтинге без эквивалентных научных достижений. Если такая работа в вузе ведется в массовом порядке, то искажения могут быть заметными. Соотношение численности студентов и преподавателей Чем меньше этот показатель, тем лучше. Наличие очных, заочных и дистанционных форм обучения, студентов и слушателей, штатных и внештатных профессоров делает рассматриваемое соотношение весьма растяжимым и спекулятивным.

Для каких целей целесообразно использовать рейтинги 1.Для обеспечения подотчётности перед обществом (информирование потребителей образовательных услуг для осознанного выбора ОУ). 2.Для задания приоритетов деятельности ОУ и образовательных систем (ОС). 3.Для повышения мотивации в достижении значимых результатов. 4.Для определения лидеров (с целью распространения их опыта, поощрений). 5.Для определения наиболее «слабых» ОУ и ОС (с целью оказания поддержки и преодоления имеющихся проблем). 6.…?

ВАШИ ВОПРОСЫ