Ключевые условия использования результатов оценки учебных достижений школьников: уроки России и стран мира И.А. Вальдман Зав. лабораторией мониторинга в образоваии ИУО РАО, директор Российского тренингового центра ИУО РАО, к.п.н. Международный форум «ЕВРАЗИЙСКИЙ ОБРАЗОВАТЕЛЬНЫЙ ДИАЛОГ» г. Ярославль, апреля 2013 года

ОТ ЧЕГО ЗАВИСИТ… Политическая воля Доверие Техническая компетентность ПОЛЬЗОВАТЕЛЕЙ

НА ЧЁМ ОСНОВЫВАЕТСЯ… Доверие качество научного обеспечения оценочной процедуры (методология оценивания, выбор инструментария); открытость и прозрачность процесса проведения оценки, правил и процедур, регламентирующих реализацию программы оценки.

КАКОВА… Техническая компетентность ПОЛЬЗОВАТЕЛЕЙ А В С неподготовленные с базовой квалификацией с высокой квалификации

ОТ ЧЕГО ЗАВИСИТ… Политическая воля Рациональные способы работы с политической волей никому не известны

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Эффективное использование результатов оценки зависит от ряда условий, которые следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики.

СТРАТЕГИЯ ОКО – КОНТРОЛЬ ИЛИ ПОДДЕРЖКА Контроль Для наложения санкций и раздачи поощрений Нет права на ошибку ОУ не заинтересовано в обнаружении проблем Поддержка Оказание содействия ОУ и муниципалитетам в преодолении существующих проблем Есть право на ошибку. Неудача – сигнал для оказания помощи. ОУ заинтересовано в обнаружении проблем

ПОДДЕРЖКА ЗАИНТЕРЕСОВАННЫХ СТОРОН Крайне важно, чтобы все заинтересованные стороны пришли к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.

НАЛИЧИЕ НАДЁЖНОГО ИНСТРУМЕНТАРИЯ Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам, является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества.

Пример. ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ ТЕСТА 1.Определение цели тестирования и разработка спецификации теста. 2.Разработка заданий для теста. 3.Экспертиза и доработка заданий. 4.Апробация и доработка заданий. 5.Составление теста. 6.Проведение апробации теста и обработка полученных результатов. 7.Доработка теста и подготовка окончательного варианта.

НАЛИЧИЕ НАДЁЖНОЙ СТАНДАРТИЗИРОВАННОЙ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНКИ Стандартизированная процедура должна обеспечивать информационную безопасность проведения оценки, предотвращать возможные нарушения и фальсификацию данных, обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи учащиеся принимали участие в оценке.

Ориентация на информационные потребности основных групп пользователей результатов оценки Соответствующая информация должна достигать представителей всех заинтересованных сторон (разнообразные информационные продукты). Необходимо использовать различные методы информирования о результатах оценки (распространение информации).

Национальный мониторинг SIMCE (Чили). Информационные продукты 1.Руководство по проведению оценки (с 1988) 2.Школьный отчёт (с 1988) 3.Национальный отчёт (с 2006) 4.Приложение к газете (с 1995) 5.Отчёт для родителей (с 2005) 6.Он-лайн банк заданий (с 2007) 7.Комплект материалов для прессы (с 2006) 8.Файлы данных (с 2005) 9.Инструментарий анализа данных (с 2007) 10.Геоинформационная система (с 2010) 11.Вебсайт (с 2001)

SIMCE. Распространение информации: Механизмы, Цели, Целевые группы, Содержание 4. Приложение к газете Цели: Обеспечение подотчётности школ Целевая группа: родители, широкая общественность Содержание: (а) Средние баллы школ и средние балы по предметам и классам. (b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки, 2) средним по стране, 3) средними баллами школ из той же социально-эконмической группы. Механизмы: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.

SIMCE. Геоинформационная система

Учёт дополнительных данных при принятии управленческих решений по итогам оценки Невозможно принимать «сложные» решения на основании данных одного вида «Простые» решения Итоговая государственная аттестация по предмету. Как учителю и школе организовать работу «над ошибками» Более «сложные» решения Выбор профиля обучения в старшей школе «Сложные» решения Оценка качества работы учителя Оценка эффективности работы школы

ВАЖНЫЕ УРОКИ ПОГОВОРИМ НА ПРИМЕРАХ

ОБЛАСТЬ ПРИМЕНЕНИЯ ОДНОЙ ОЦЕНОЧНОЙ ПРОЦЕДУРЫ ВСЕГДА ОГРАНИЧЕНА Невозможно использовать одну оценочную процедуру для решения многих задач. ПРИМЕР ЕГЭ Предназначен для определения, освоил ли ученик образовательную программу школы отбора для поступления в вуз Используется на практике ещё и для оценки качества работы учителя оценки эффективности работы школы, муниципалитета оценки эффективности деятельности губернатора …

Невозможно использовать оценочную процедуру в целях, для которых она не предназначена. Пример региона N. Письмо регионального министерства в муниципалитеты В соответствии с приказом Минобразования … в рамках международного исследования TIMSS и PIRLS в 2011 году в проведении тестирования учащихся 4 и 8 классов участвовали школы вашего муниципального образования… Однако, как показывают результаты исследований, средний балл по тестируемой области этих учреждений оказался ниже среднего балла по России. Минобразования … отмечает неудовлетворительную работу педагогических коллективов указанных образовательных учреждений по качеству образования участников тестирования и просит принять все необходимые организационно-методические меры по повышению уровня квалификации учителей, внутришкольного контроля...

Продолжение. Пример региона N. Письмо регионального министерства в муниципалитеты Одновременно с этим сообщаем, что учащиеся, принявшие участие в TIMSS-2011 стали участниками PISA После получения результатов PISA-2012 (ориентировочно апрель 2013 г.) предлагаем провести комплексное исследование результатов со сравнением результатов Г(И)А и определением дальнейшей образовательной траектории каждого учащегося

ДОВЕРИЕ К РЕЗУЛЬТАТАМ СО СТОРОНЫ ОБЩЕСТВА Экзамены для поступления в вузы Казахстана (ЕНТ- единое национальное тестирование) и Кыргызстана (ОРТ – общереспубликанское тестирование) проводятся в форме тестов с множественными вариантами ответов. Выбор такого варианта теста был сделан с целью исключения человеческого фактора. К процедуре, которая бы допускала вмешательство человека, у общества не было бы доверия.

Процедуры с высокими ставками требуют жёсткого контроля. Старайтесь их избегать! Школьная афера по-американски ( ) В минувшую пятницу 35 сотрудникам системы образования в штате Джорджия предъявили обвинение в многолетней фальсификации результатов экзаменов. По данным следствия, как минимум 40 из 56 государственных школ в Атланте отчитывались о недостоверных результатах государственного тестирования более 10 лет. Есть версия, что провоцирует директоров школ и учителей на преступление действующее американское законодательство: зарплаты учителей и пособия из госбюджета, выплачиваемые школам, напрямую зависят от успеваемости учеников.

Сопоставимость результатов оценочных процедур должна быть заложена в инструментарии. Пример ЕГЭ ?

© С.А. Боченков Соотношение 100-балльной и процентильной шкал (РФ, ЕГЭ-2012) Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2012) баллов © Боченков СА

Стобалльная шкала ЕГЭ не позволяет сравнивать результаты по предметам и оценить динамику по годам, т.к.: НЕ СОВПАДАЕТ: величина наименьшего тестового балла, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по предмету (ТБ1) величина наименьшего тестового балла, получение которого свидетельствует о высоком уровне подготовки участника экзамена (ТБ2) МЕНЯЕТСЯ ПО ГОДАМ: время, отведённое на выполнение работы без изменения её содержания (русский язык в 2012 и в 2013) количество, качество и состав заданий, уровень сложности © Боченков СА

Кластерный анализ обеспечивает справедливое сравнение результатов и ориентирован на поддержку Кластерный анализ Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Ш1.1________ Ш1.2________ Ш1.3________ …….. Ш1.14_______ Ш1.15_______ К1 Ш2.1________ Ш2.2________ Ш2.3________ …….. Ш2.21_______ К2 К3 «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. Ш3.1________ Ш3.2________ Ш3.3________ …….. Ш3.11_______ Ш3.12_______

МОДЕЛЬ ИСПОЛЬЗОВАНИЯ ДАННЫХ Кластер. анализ «Слабые» школы Анализ факторов Меры поддержки Оценка От линейного рейтинга к кластерному сравнению и анализу факторов

Сравнение результатов школ в рамках кластера статистически подобных ОУ Представление результатов мониторинга NAPLAN (Австралия)

Сайт Моя Школа Сравнение результатов NAPLAN по школе с «подобными» школами Год 7 Чтение Год обучения Область оценки Число школЧисло школ

СТАТИСТИЧЕСКИ «ПОДОБНЫЕ» ШКОЛЫ (Австралия). В целях представления результатов национального мониторинга по группам школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage) – ICSEA. ICSEA учитывает следующие параметры: количество учащихся в школе; данные по занятости и образованию родителей учеников; социо-экономические характеристики места проживания ученика; местонахождение школы (столица, регион либо удаленная территория); доля учеников из семей, где английский язык не является родным; доля учеников из коренного населения страны.

КЛАСТЕРИЗАЦИЯ. Пример. Анализ результатов ЕГЭ в Чувашской Республике Кластер 1 Городские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных Кластер 2 Городские общеобразовательные школы (более 50 выпускников 11 классов) Кластер 3 Городские общеобразовательные школы (менее 50 выпускников 11 классов) Кластер 4 Сельские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов, ресурсные центры Кластер 5 Сельская общеобразовательная школа (25 и более выпускников 11 классов) Кластер 6 Сельская общеобразовательная школа (от 15 до 25 выпускников 11 классов) Кластер 7 Малочисленные сельские общеобразовательные школы (менее 15 выпускников 11 классов) Боченков С.А. Анализ и интерпретация результатов ЕГЭ. Параметры кластеризации Тип образовательного учреждения Вид образовательного учреждения Тип местности, размер населённого пункта Размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки)

Рейтинги должны быть надёжными информационными источниками. Пример. Единый портал пермского образования

Рейтинг – инструмент с ограниченной зоной действия Работа с «верхней» частью рейтинга. Определение «лидеров» для: поощрения пропаганды успешного опыта информирования родителей (выбор школы) создания позитивного имиджа ОУ Работа с «нижней» частью рейтинга. Определение «неуспешных» для: оказания целевой помощи наложения санкций стимулирования улучшения работы ОУ информирования родителей (выбор школы) Работа со всеми объектами рейтинга требует использования кластеризации.

Ориентация на процедуры с «низкими ставками» Использование результатов должно опираться на… Сравнение в своей «весовой категории» Поддержка заинтересованных сторон Целевые информационные продукты Методы информирования Надёжный инструментарий Сочетание различных источников данных Надёжная процедура Знание пользователей результатов

СПАСИБО ЗА ВНИМАНИЕ! С материалами по тематике использования результатов ОКО можно познакомиться на сайте Российского тренингового центра