В.А.Болотов вице-президент РАО И.А. Вальдман директор Российского Тренингового центра ИУО РАО Российский тренинговый центр Института управления образованием РАО ВЕБИНАР « Мониторинги качества образования: перспективы и возможности использования результатов » 11 октября 2012 года

Определение. Мониторинг учебных достижений Мониторинг учебных достижений школьников – это стандартизированная процедура оценки результатов обучения, которая проводится на регулярной основе и имеет своей целью предоставление актуальной для управленцев и педагогов информации относительно уровня знаний и навыков различных групп учащихся, тенденций их изменений и факторов, оказывающих влияние на результаты обучения. ©Российский тренинговый центр ИУО РАО

Виды мониторингов учебных достижений Международные PISA, TIMSS, PIRLS, ICILS … Межстрановые PASEC (франкоговорящая Африка), SACMEQ (англоговорящая Африка), LLECE (страны Южной Америки) Национальные NAEP (США), SIMCE (Чили), NAPLAN (Австралия), НООДУ (Кыргызстан)… Региональные Оценка на уровне штатов в США и Канаде

Цель проведения мониторинга Цель: Выяснить, насколько эффективно работает система образования. Иначе говоря, мониторинг должен помочь определить, обеспечивает ли система образования положительную динамику результатов обучения школьников.

Ключевые вопросы Насколько эффективно учащиеся овладевают знаниями и навыками в системе образования? Какие достижения демонстрируют представители различных групп учащихся? Какие факторы оказывают влияние на результаты обучения? Меняются ли результаты со временем?

Характеристика. Главная задача - получение данных, позволяющих судить о том, в какой мере достигаются цели, предусмотренные государственным стандартом или учебным планом. Как правило, результаты представляются в обобщённом виде, по группам учащихся.

Характеристика. В рамках Н/РМ изучаются факторы, негативно или позитивно влияющие на учебные достижения. Такая информация необходима для разработки политики на различных уровнях образования. Проводится: 1 раз в 2-5 лет, по нескольким предметам, на основе выборки или ген. совокупности учащихся определённого возраста, используются тесты и вопросники.

Для чего проводится? Используется как источник информации для принятия решений о выделении ресурсов: - в целом для системы образования (например, на реформирование учебных планов, подготовку и повышение квалификации педагогических кадров); - некоторым категориям школ в целях ликвидации неравенства (школы в сельской местности, школы в регионах с неблагоприятными социально-экономическими условиями); - отдельно взятым школам (например, в качестве поощрения за высокие результаты, показанные учащимися в ходе тестирования: для проектирования шага развития отстающим школам).

Пользователи результатов Политики и общественные деятели Управленцы системы образования Разработчики стандартов Авторы учебников Представители системы повышения квалификации Методические службы Специалисты по педагогическим измерениям Исследователи Родители СМИ

Опыт Белоруссии, Казахстана, Кыргызстана, России, Таджикистана, Армении Национальные мониторинги Международные срав. исследования БелоруссияЕжегодный компл. мониторинг 4, 9, 11_ КазахстанВОУД, 9 ВОУД для выпускников вузов PISA, TIMSS КыргызстанНООДУ, 4 и 8PISA ТаджикистанНач. Школа, 2009_ Россиянач. школа (разработка)PISA, TIMSS, PIRLS, ICCS АрменияPISA, TIMSS

Основные отличия экзаменов и мониторингов ХарактеристикиНациональные мониторингиЭкзамены Цель Оценка работы системы, выработка политики и мониторинг тенденций Сертификация и отбор Участники Выборка или все ученики данного класса или возраста Все участники Формат Обычно тест с множест. выбором и кратким ответом Обычно эссе и тест с множест. выбором Сбор доп. информации Обычно да, анкетыРедко Мониторинг тенденций ДаНет

Другие виды мониторингов Мониторинги социализации Мониторинги здоровья Мониторинг информационной открытости ОУ Ведомственные - для оценки хода реализации национальных приоритетов (например, КПМО) …

Госпрограмма «Развитие образования» на гг. (проект). МЕРОПРИЯТИЕ 3.5. «Создание системы мониторингов в области образования и социализации, развитие единой унифицированной системы статистики образования». Развитие системы образовательной статистики. Будет создана система мониторингов в области образования и социализации, которые начнут проводиться на систематической основе. МИ учебных достижений учащихся (включая М готовности к освоению программ конкретного уровня образования общего и профессионального); М готовности учащихся основной школы (8 класс) к выбору образовательной и профессиональной траектории; М информационной открытости образовательных организаций. М трудоустройства, карьеры и доходов выпускников организаций проф. образования. Использование результатов МИ для повышения качества обучения и эффективного управления ОС (кластерный анализ, контекстная информация, соц. методы).

МОНИТОРИНГИ КАЧЕСТВА ОБРАЗОВАНИЯ НООДУ ВОУД

NAEP (США) – национальная оценка прогресса образования NAEP – это репрезентативная на национальном уровне и непрерывная программа оценки, показывающая что знают и умеют делать американские школьники в рамках конкретных предметных областей.

NAEP. Краткая характеристика участники: нац. выборка - 4, 8, 12-е классы (добровольное участие) оцениваются: учебные достижение в ключевых предметных областях (математика, английский язык, социальные науки, экономика, география, история США) инструментарий: тесты достижений и анкеты (для учеников, учителей и администрации школ) периодичность: не реже 1 раза в два года получатели информации: местные сообщества, политики, представители системы образования, широкая общественность. ответственные за проведение: Национальный центр статистики в области образования (подразделение Министерства образования США).

NAEP. Представление результатов Результаты NAEP публикуются в национальном докладе (The Nation's Report Card), представляющем широкой общественности информацию об академических достижениях американских школьников – Результаты теста строго обезличены, но обобщённые результаты предаются самой широкой огласке, в том числе через Интернет. Целевые группы (потребители информации): Школы, Родители, Учащиеся, Представители СМИ, Исследователи, Работники системы образования

NAEP. Возможности работы с данными.

Результаты NAEP по математике. Калифорния. Общие результаты Результаты по уровням достижений

Результаты NAEP по математике. Калифорния. Сравнение среднего бала с другими штатами Средний балл по штату и стране

Результаты NAEP по математике. Калифорния. Результаты по группам учащимсяРазличия в результатах по группам учащимся

Федеральный закон «Ни одного отстающего ребёнка» No Child Left Behind Act (2002) Требует проведения штатами ежегодного тестирования всех школьников в 3-8 классах и 1 раз в старшей школе по чтению математике и естественным наукам. Все учащиеся должны к 2014 году достичь «достаточного» уровня (proficient) или выше в тестах штата по математике и чтению. Необходимо ежегодно демонстрировать прогресс в результатах, иначе возможны различные санкции для школ: Перевод учащихся в другую школу; Введение дополнительных занятий с учащимися; Корректирующие воздействия (замена учителей, введение нового учебного плана, увеличение времени обучения). Реструктуризация (закрытие школы, изменение правового статуса, передача под управление частной компании или департаменту образования штата).

Сравнение результатов тестов штата Кентукки и NAEP, показанных учащимися 4 класса по чтению на уровнях выше базового («достаточный» и «продвинутый») Fuller et al. (2007). Gauging growth: How to judge NCLB. Educational Researcher, 36(5).

Сравнение стандартов «достаточных» уровней достижений в тестах штатов по чтению в 8 классе, 2005 г. Сравнение по эквиваленту баллов NAEP пороговый балл «достаточного» (proficient) уровня в NAEP (281) пороговый балл «базового» уровня в NAEP (243)

NAPLAN (Австралия) – национальная программа оценки NAPLAN – это измерение, посредством которого правительства, органы управления образованием и школы могут определить, достигают ли юные австралийцы наиболее важных образовательных результатов.

NAPLAN. Краткая характеристика National Assessment Program – Literacy and Numeracy (NAPLAN) – национальная программа оценки учебных достижений для учащихся 3, 5, 7 и 9 классов. Проверяет знание и навыки по чтению, письму, правилам языка (грамматика, пунктуация, орфография) и математические навыки в соответствии с национальным учебным планом. Проводится ежегодно и отслеживает прогресс каждого учащегося. Проводит NAPLAN Национальное независимое государственное Управление по учебному плану, оценке и информированию.

NAPLAN. Уровни достижений. Как интерпретировать результаты

NAPLAN. Индивидуальный отчёт. Результат ученика Видео – представление результатов Средний результат по школе Средний результат по стране Диапазон средних результатов 60% учащихся 3 класса Австралии

Сайт Моя Школа (My School) На веб-сайте «Моя школа» (My School) собраны информационные профили примерно австралийских школ и реализована возможность осуществления поиска школы по местоположению, типу или названию. На сайте представлены статистические и контекстные данные по каждой школе, а также результаты тестирования, проводимого в рамках NAPLAN, которые можно сопоставлять с результатами, полученными в школах со статистически сходным контингентом учащихся по всей Австралии.

Сайт Моя Школа (My School)

Сайт Моя Школа Представление результатов NAPLAN

Сайт Моя Школа Сравнение результатов NAPLAN по школе с «подобными» школами

SIMCE (Чили) - национальная программа оценки качества образования

SIMCE. Краткая характеристика Программа действует с 1988 года Используются стандартизированные тесты по математике, испанскому языку и естественным наукам. Базируется на национальном учебном плане. Целевые группы: учащиеся 4, 8 и 10 классов. Участвуют все учащиеся и школы. Закреплена в законе об образовании. Управляется Министерством образования.

SIMCE. Цели и варианты использования Поддержка обучения Рекомендации и учебные семинары для педагогов Мониторинг образовательной политики (качество и справедливость) Информирование политиков 1) об уровне образования 2) о влиянии предпринятых действий Обеспечение подотчётности Создание стимулов для школ и учителей ЦЕЛИ ИСПОЛЬЗОВАНИЕ

ПОДДЕРЖКА ОБУЧЕНИЯ До проведения оценки Руководства по проведению оценки для специалистов системы образования: Спецификация теста Примеры вопросов и заданий После проведения оценки Отчёт по школам для специалистов системы образования: Результаты школ Примеры вопросов Примеры ответов Руководства для школьных семинаров

МОНИТОРИНГ ОБРАЗОВАТЕЛЬНОЙ ПОЛИТИКИ Увеличение информированности о качестве и справедливости в предоставлении образования Нацеленность на школы с низкими достижениями Оценка влияния реализуемых программ и действий Национальный доклад С 2006 г.

ОБЕСПЕЧЕНИЕ ПОДОТЧЁТНОСТИ Публикация в газетах рейтингов и результатов тестирования в государственных школах. Отчёт для родителей (с 2005 г.)

SIMCE. Информационные продукты 1.Руководство по проведению оценки (с 1988) 2.Школьный отчёт (с 1988) 3.Национальный отчёт (с 2006) 4.Приложение к газете (с 1995) 5.Отчёт для родителей (с 2005) 6.Он-лайн банк заданий (с 2007) 7.Комплект материалов для прессы (с 2006) 8.Файлы данных (с 2005) 9.Инструментарий анализа данных (с 2007) 10.Геоинформационная система (с 2010) 11.Вебсайт (since 2001)

SIMCE. Распространение информации: Механизмы, Цели, Целевые группы, Содержание 4. Приложение к газете Цели: Обеспечение подотчётности школ Целевая группа: родители, широкая общественность Содержание: (а) Средние баллы школ и средние балы по предметам и классам. (b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки, 2) средним по стране, 3) средними баллами школ из той же социально-эконмической группы. Механизмы: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.

SIMCE. Геоинформаионная система

Заключение. 9 уроков от 3 стран. США 1.Добровольность участия требует эффективной коммуникации. 2.Национальный мониторинг может играть роль «стандарта». 3.По итогам мониторинга не следует применять карательные меры. Австралия 1.Цель – отслеживание прогресса каждого ребёнка. 2.Сравнение результатов школ в рамках кластера статист. подобных. 3.Результат теста лишь один из источников информации о школе. Чили 1.Ключевая задача – обеспечение подотчётности перед обществом. 2.По итогам - поддержка школ с низкими результатами. 3.Разные информационные продукты для разных целевых групп.

Приглашаем регионы России и страны СНГ представлять на вебинарах РТЦ ИУО РАО свой опыт проведения мониторингов в образовании. Приглашаем к сотрудничеству