Мониторинги образовательных достижений школьников: уроки стран мира И.А. Вальдман директор Российского Тренингового центра ИУО НИУ ВШЭ, к.п.н. СЕМИНАР «Развитие национальных систем оценки качества школьного образования в международном контексте» 6 ноября 2014 года, г. Астана

ВОПРОСЫ ДЛЯ ОБСУЖДЕНИЯ Примеры мониторинговых исследований Мониторинги и образовательный контекст Представление результатов Использование результатов Основные уроки из опыта зарубежных стран

NAEP (США) – национальная оценка прогресса образования NAEP – это репрезентативная на национальном уровне и непрерывная программа оценки, показывающая что знают и умеют делать американские школьники в рамках конкретных предметных областей.

NAEP (с 1969) – краткая характеристика участники: нац. выборка - 4, 8, 12-е классы (добровольное участие) оцениваются: учебные достижение в ключевых предметных областях (математика, английский язык, социальные науки, экономика, география, история США) инструментарий: тесты достижений и анкеты (для учеников, учителей и администрации школ) периодичность: не реже 1 раза в два года получатели информации: местные сообщества, политики, представители системы образования, широкая общественность. ответственные за проведение: Национальный центр статистики в области образования (подразделение Министерства образования США).

NAEP. «Луч света в тёмном царстве» NAEP публиковал результаты тестов по возрастному, половому, расовому и религиозному признакам. «17-летние чернокожие школьники читают и считают примерно так же, как и 13-летние белые» Полученные данные не были сюрпризом для педагогов, но только после их публикации на федеральном уровне появились возможности улучшить результаты обучения чернокожих школьников.

NAEP. Представление результатов Результаты NAEP публикуются в национальном докладе (The Nation's Report Card), представляющем широкой общественности информацию об академических достижениях американских школьников – Результаты теста строго обезличены, но обобщённые результаты предаются самой широкой огласке, в том числе через Интернет. Целевые группы (потребители информации): Школы, Родители, Учащиеся, Представители СМИ, Исследователи, Работники системы образования

NAEP. Информация для учащихся.

NAEP. Возможности работы с данными.

Результаты NAEP по математике. Калифорния. Общие результаты Результаты по уровням достижений

Результаты NAEP по математике. Калифорния. Сравнение среднего бала с другими штатами Средний балл по штату и стране

Результаты NAEP по математике. Калифорния. Результаты по группам учащимся Различия в результатах по группам учащимся

Федеральный закон «Ни одного отстающего ребёнка» No Child Left Behind Act (2002) Требует проведения штатами ежегодного тестирования всех школьников в 3-8 классах и 1 раз в старшей школе по чтению математике и естественным наукам. Все учащиеся должны к 2014 году достичь «достаточного» уровня (proficient) или выше в тестах штата по математике и чтению. Необходимо ежегодно демонстрировать прогресс в результатах, иначе возможны различные санкции для школ: Перевод учащихся в другую школу; Введение дополнительных занятий с учащимися; Корректирующие воздействия (замена учителей, введение нового учебного плана, увеличение времени обучения). Реструктуризация (закрытие школы, изменение правового статуса, передача под управление частной компании или департаменту образования штата).

Сравнение стандартов «достаточных» уровней достижений в тестах штатов по чтению в 8 классе, 2005 г. Сравнение по эквиваленту баллов NAEP пороговый балл «достаточного» (proficient) уровня в NAEP (281) пороговый балл «базового» уровня в NAEP (243)

NAPLAN (Австралия) – национальная программа оценки NAPLAN – это измерение, посредством которого правительства, органы управления образованием и школы могут определить, достигают ли юные австралийцы наиболее важных образовательных результатов.

NAPLAN – краткая характеристика National Assessment Program – Literacy and Numeracy (NAPLAN) – национальная программа оценки учебных достижений для учащихся 3, 5, 7 и 9 классов. Проводится ежегодно и отслеживает прогресс каждого учащегося. Проводит NAPLAN Национальное независимое государственное Управление по учебному плану, оценке и информированию - Australian Curriculum, Assessment and Reporting Authority (ACARA).ACARA

NAPLAN – краткая характеристика NAPLAN проверяет знание и навыки по 4 областям – чтение, письмо, правила языка (грамматика, пунктуация, орфография) и математические навыки в соответствии с национальным учебным планом. Пример задания теста по математике для 5 класса

NAPLAN. Уровни достижений. Как интерпретировать результаты

NAPLAN. Индивидуальный отчёт. Результат ученика Видео – представление результатов Средний результат по школе Средний результат по стране Диапазон средних результатов 60% учащихся 3 класса Австралии

NAPLAN. Представление результатов

Сайт Моя Школа (My School) На веб-сайте «Моя школа» (My School) собраны информационные профили примерно австралийских школ и реализована возможность осуществления поиска школы по местоположению, типу или названию. На сайте представлены статистические и контекстные данные по каждой школе, а также результаты тестирования, проводимого в рамках NAPLAN, которые можно сопоставлять с результатами, полученными в школах со статистически сходным контингентом учащихся по всей Австралии.

Сайт Моя Школа (My School) Сайт позволяет школам, учителям, родителям и общественности: получить информацию о конкретной школе, представленную в виде единых для всей страны показателей; сравнить достижения учащихся этой школы со среднестатистическими показателями школ со статистически сходным контингентом учащихся либо всех школ Австралии; найти школы с высоким уровнем образования, в том числе те, в которых наблюдается существенный рост успеваемости; получить более широкую картину общего уровня образования того или иного района.

Сайт Моя Школа (My School)

Сайт Моя Школа Представление результатов NAPLAN в числовом выражении

Сайт Моя Школа Сравнение результатов NAPLAN по школе с «подобными» школами

Сайт Моя Школа Сравнение результатов NAPLAN по школе с «подобными» школами

СТАТИСТИЧЕСКИ «ПОДОБНЫЕ» ШКОЛЫ. В целях представления результатов национального мониторинга по группам школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage) – ICSEA. ICSEA учитывает следующие параметры: количество учащихся в школе; данные по занятости и образованию родителей учеников; социо-экономические характеристики места проживания ученика; местонахождение школы (столица, регион либо удаленная территория); доля учеников из семей, где английский язык не является родным; доля учеников из коренного населения страны.

SIMCE (Чили) - национальная программа оценки качества образования

SIMCE – краткая характеристика Программа действует с 1988 года Используются стандартизированные тесты по математике, испанскому языку и естественным наукам. Базируется на национальном учебном плане. Целевые группы: учащиеся 4, 8 и 10 классов. Участвуют все учащиеся и школы. Закреплена в законе об образовании. Управляется Министерством образования.

SIMCE. Цели и варианты использования Поддержка обучения Рекомендации и учебные семинары для педагогов Мониторинг образовательной политики (качество и справедливость) Информирование политиков 1) об уровне образования 2) о влиянии предпринятых действий Обеспечение подотчётности Создание стимулов для школ и учителей ЦЕЛИ ИСПОЛЬЗОВАНИЕ

ПОДДЕРЖКА ОБУЧЕНИЯ До проведения оценки Руководства по проведению оценки для специалистов системы образования: Спецификация теста Примеры вопросов и заданий После проведения оценки Отчёт по школам для специалистов системы образования: Результаты школ Примеры вопросов Примеры ответов Руководства для школьных семинаров

ПОДДЕРЖКА ОБУЧЕНИЯ Он-лайн банк заданий Используется с 2007 г.

МОНИТОРИНГ ОБРАЗОВАТЕЛЬНОЙ ПОЛИТИКИ Увеличение информированности о качестве и справедливости в предоставлении образования Нацеленность на школы с низкими достижениями Оценка влияния реализуемых программ и действий Национальный доклад С 2006 г.

ОБЕСПЕЧЕНИЕ ПОДОТЧЁТНОСТИ Публикация в газетах рейтингов и результатов тестирования в государственных школах. Отчёт для родителей (с 2005 г.)

SIMCE. Информационные продукты 1. Руководство по проведению оценки (с 1988) 2. Школьный отчёт (с 1988) 3. Национальный отчёт (с 2006) 4. Приложение к газете (с 1995) 5.Отчёт для родителей (с 2005) 6.Он-лайн банк заданий (с 2007) 7. Комплект материалов для прессы (с 2006) 8. Файлы данных (с 2005) 9. Инструментарий анализа данных (с 2007) 10. Геоинформационная система (с 2010) 11. Вебсайт (since 2001)

SIMCE. Распространение информации: Механизмы, Цели, Целевые группы, Содержание 4. Приложение к газете Цели: Обеспечение подотчётности школ Целевая группа: родители, широкая общественность Содержание: (а) Средние баллы школ и средние балы по предметам и классам. (b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки, 2) средним по стране, 3) средними баллами школ из той же социально-эконмической группы. Механизмы: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.

SIMCE. Геоинформаионная система

NMSSA (Новая Зеландия) – национальный мониторинг обучения www. nemp.otago.ac.nz Целью Национального мониторингового исследования образовательных достижений учащихся является получение широкой картины состояния образовательных достижений школьников в соответствии с требованиями национального учебного плана

Оценка на уровне школы Новая Зеландия привержена базовому принципу использования оценочных процедур - любое оценивание полезно лишь в той мере, в которой оно помогает учителю в его работе и способствует прогрессу ученика.

Цели NMSSA определение тенденций изменения образовательных достижений учащихся на протяжении времени; определение факторов оказывающих влияние на образовательные достижения; предоставление актуальной и надёжной информации политикам, специалистам по учебному плану, педагогическим работникам для планирования работы NMSSA также ориентирован на оценку достижений учащихся народа Майори (Māori) и жителей тихоокенскаго региона (Pasifika), а также учащихся со специальными образовательными потребностями

NMSSA – краткая характеристика Мониторинг проводится ежегодно, в нём участвуют на выборке школьники 4-го (8–9 лет) и 8-го (12–13 лет) классов. Все учащиеся (до 27 от школы) выполняют тест и отвечают на вопросы анкеты об условиях обучения. 8 учащихся от школы выполняют доп. задания (индивидуально и в группах) и участвуют в интервью, которое записывается на видео.

NMSSA – что оценивается и как оценивается Участие в мониторинге для каждого ученика занимает от 2-х до 4-х часов в течении двух с половиной дней. К разработке заданий теста и их апробации привлекаются школы, учителя и школьники. Непосредственно мониторинг организуют опытные учителя, которые специально для этого обучаются Области оценки – английский (чтение, письмо), математика, естественные науки, социальные исследования, здоровье и физическое воспитание.

NMSSA – что оценивается Оценивается широкий спектр образовательных результатов в соответствии с нац. учебным планом: знания, навыки, ключевые компетентности, грамотность и математические навыки. Часть заданий является практико- ориентированными и требует умения применять полученные знания в случаях, близких к реальным жизненным ситуациям Задание «Лужи» Школьники заметили, что лужи на асфальте становятся меньше после завершения дождя. Чтобы понять как быстро это происходит они стали обводить границу лужи каждый час и фиксировать время. а) Укажите на рисунке время последней отметки границы лужи. б) Объясните, почему лужа становится меньше.

NMSSA – представление результатов Результаты (диапазон баллов, разница в средних баллах) в целом по стране, по подгруппам – мальчики и девочки, этнические группы (европейские новозеландцы, Майори, Тихоокенские, азиаты), по группам школ по уровню СЭС, (школьные децили), тип школы. Сравнение результатов по уровням достижений в соответствии с учебным планом. Сравнение результатов 4 и 8 классов. Результаты по группам в соответствии с определёнными контекстными факторами. Например, язык, на котором говорят дома.

NMSSA – представление результатов Мониторинг не предоставляет информации относительно отдельных учащихся, учителях и школах. Часть тестовых заданий делается доступными для использования в практике работы учителей. Национальный доклад по итогам оценки готовится и выпускается на следующий год после проведения мониторинга.

ШКОЛЬНЫЕ ДЕЦИЛИ – кластеризация школ. ДЕЦИЛЬ показывает, какая доля учащихся из семей с низким социально- экономическим статусом (СЭС) учится в школе. Дециль 1 – это 10% школ, в которых наибольшее число учеников с низким СЭС. СЭС определяется следующими параметрами: Доход семьи; Трудовая занятость родителей; Плотность проживания в семье (число членов семьи на спальню в доме); Образование родителей (нет школьного или высшего образования); Получение семьей социальных пособий.

Результаты теста учащихся 4 класса по естественно-научной грамотности по группам Диапазон 25% лучших результатов Прямоугольник ограничивает зону, в которой находятся 50% средних результатов учащихся. Диапазон 25% самых низких результатов

Достижения учащихся Майори Достижения учащихся 8 класса с учётом общения на английском языке дома Всегда Часто Иногда/Никогда Результаты теста с учётом контекстных факторов и этнических групп

Заключение. 12 уроков от 4 стран. США 1. Добровольность участия требует эффективной коммуникации. 2. Национальный мониторинг может играть роль «стандарта». 3. Мониторинг не следует превращать в измерение с «высокими ставками». Австралия 1. Цель – отслеживание прогресса каждого ребёнка. 2. Сравнение результатов школ в рамках кластера статист. подобных. 3. Результат теста лишь один из источников информации о школе.

Заключение. 12 уроков от 4 стран. Чили 1. Ключевая задача – обеспечение подотчётности перед обществом. 2. По итогам - поддержка школ с низкими результатами. 3. Разные информационные продукты для разных целевых групп. Новая Зеландия 1. Сбор данных по этническим группам. 2. Привлечение учителей к проведению мониторинга. 3. Представление результатов школ по группам СЭС.

Общие выводы Все четыре мониторинга дают картину о состоянии обучения учащихся на уровне страны, и только NAPLAN (Австралия) отслеживает инд. прогресс каждого участника. Во всех странах, кроме США, мониторинг в стране проходит ежегодно. В США NAEP проходит 1 раз в 2 года или 1 раз в 4 года (в зависимости от предмета). В США и Новой Зеландии мониторинг проходит на основе выборки, в Чили и Австралии – на основе ген. совокупности учеников определённого возраста.

Общие выводы Все мониторинги в той или иной степени используют контекстные данные о СЭС ученика и школы. Результаты представляются либо по группам школ (Чили, Австралия, Новая Зеландия) школ, либо по группам учеников (США) с учётом СЭС. Все страны уделяют очень серьёзное внимание стратегии распространения информации по итогам оценки (выделение различных целевых групп, определение ясных показателей результатов, подготовка адресных информационных продуктов, создание он-лайн информационных ресурсов, работа со СМИ).

Рамка для проектирования и анализа мониторингов учебных достижений

ТАБЛИЦА С ХАРАКТЕРИСТИКАМИ МОНИТОРИНГОВ Характеристики Описание А. Цели Для достижения каких целей будет использоваться мониторинг В. Ключевые вопросы На какие вопросы вы планируете получить ответы с использованием результатов мониторинга. С. Участники Характеристика выборки (популяции) мониторинга. D. Что оценивается Какие образовательные результаты подлежат оценке. E. Инструментарий Состав инструментария (тесты, анкеты и т.п.) и его характеристика. F. Кто проводит (организации)Организации отвечающие за подготовку, проведение, анализ и представление результатов.

ТАБЛИЦА С ХАРАКТЕРИСТИКАМИ МОНИТОРИНГОВ Характеристики Содержание G. Представление результатов В каком виде будут представляться результаты целевым группам (перечень информационных продуктов). H. Виды решений Какие виды решения на разных уровнях (школа, муниципалитете, регион) могут приниматься I. Кто принимает решения Субъекты принятие решений. J. Кто использует результаты Кто может использовать результаты и для каких целей. K. Доп. информация (риски, проблемы,…) Какие риски и проблемы при проведении мониторинга и использования результатов можно прогнозировать (имеют место).

СПАСИБО ЗА ВНИМАНИЕ!