Система оценки качества образования: назначение и ключевые элементы Учебный курс «Актуальные вопросы использования результатов оценки учебных достижений школьников на разных уровнях системы образования» сентября 2013 года, г. Ереван, Республика Армения И.А. Вальдман директор Российского Тренингового центра ИУО РАО СЕССИЯ 1

КЛЮЧЕВЫЕ ВОПРОСЫ Какие бывают виды программ оценки качества образования? Каковы их возможности, ограничения и взаимосвязь? Какие факторы определяют качество системы ОКО?

ОЦЕНКА КАЧЕСТВА ОРАЗОВАНИЯ ВМЕСТО ВВЕДЕНИЯ

ТЕЗАУРУС (международный опыт) Оценивание (assessment) - это процесс сбора и анализа информации о том, что учащийся знает, понимает и умеет, он направлен на принятие обоснованного решения, что делать дальше в образовательном процессе.

ЦЕЛИ СИСТЕМЫ ОКО 1) Определение прогресса в обучении конкретного школьника. 2) Сертификация выпускников (подтверждение завершения обучения). 3) Селекция – отбор для продолжения обучения или получения рабочего места. 4) «Оценка» результатов деятельности педагогов. 5) Оценка деятельности образовательных учреждений и систем. 6) Оценка деятельности национальной образовательной системы.

ЭФФЕКТИВНЫЕ СИСТЕМЫ ОЦЕНКИ Эффективные системы оценки качества образования - это системы, которые предоставляют информацию надлежащего качества и в необходимом количестве для того, чтобы удовлетворить информационные потребности всех заинтересованных групп и тех, кто принимает решения с целью повышения качества обучения учащихся.

МЕЖДУНАРОДНЫЙ ОПЫТ Эффективная система оценки строится на сочетании разнообразных методов оценки. Стандартизированное тестирование – всего лишь один из используемых подходов для определения качества обучения. Также широко используются экспертные оценки и социологические опросы. Процедуры оценки ориентированы на более широкие образовательные результаты, нежели знания в рамках учебных дисциплин.

ОБРАЗОВТАЕЛЬНЫЕ РЕЗУЛЬТАТЫ компетентности, здоровье ученика, мотивация к обучению, гражданская позиция, умение позитивно взаимодействовать с другими самоуважение, уважение к семье и обществу, забота о других и забота об окружающей среде…

СИНГАПУР: Навыки 21 века Министерство образования Сингапура Пресс релиз: 9 марта, 2010 Обладающий доверием Способный управлять своим обучением Делающий активный вклад в общество Заботящийся гражданин Гражданская грамотность, глобальная информированность, кросс-культурные навыки Критическое мышление и изобр е тательность Информационно-коммуникационная компетентностьт Базовые ценности Социальная осведомлён ность Управление собой Знание себя Отве т ствен ные решения Управление взаимоотно шениями

МЕЖДУНАРОДНЫЙ ОПЫТ В основе оценивания результатов образования лежит не только определённая норма, но и положительная динамика изменений достижений (индивидуальный прогресс, добавленная стоимость). Анализ результатов оценки учебных достижений проводится с учётом факторов, оказывающих влияние на эти результаты. Комбинация внутренней и внешней оценки– базовый подход для оценки деятельности школы.

ВИДЫ И НАЗНАЧЕНИЕ ПРОГРАММ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ

ВИДЫ ПРОГРАММ ОЦЕНКИ Виды программ оценивания Государственные экзамены Оценка на уровне класса Крупномасштабные исследования Национальная оценка ВступительныеВыпускные Формирующее оценивание Суммирующее (итоговое) оценивание вопросытесты наблюдения Международные сравнительные исследования

ОЦЕНКА НА УРОВНЕ КЛАССА Цель: Поддержать прогресс ученика. Помочь учителям и учащимся в совершенствовании процесса преподавания и учения. Как учится ученик и как лучше его обучать? Каковы сильные стороны конкретного ученика и как их можно развить? В чём ученик испытывает трудности и как они могут быть преодолены?

ОЦЕНКА НА УРОВНЕ КЛАССА Оценка на уровне класса – процесс поиска и интерпретации достоверных данных, которые ученики и их учителя используют для того, чтобы решить, где обучаемые находятся в процессе своего учения, куда им необходимо двигаться дальше и как сделать это наилучшим образом (программа Assessment for Learning, Великобритания). Используемые методы – учебные задания, вопросы, наблюдения, собеседования с учителем, самооценка учащегося, оценка учащихся друг другом и т.п. Оценка в целях обучения направлена на признание всех образовательных достижений учащихся.

ГОСУДАРСТВЕННЫЕ ЭКЗАМЕНЫ Выпускной экзамен Цель: Селекция/отбор для продолжения образования (например, при поступлении в Вуз) Кто из учащихся может продолжать обучение на следующей ступени образования? Цель: Сертификация учащихся Как освоил государственный образовательный стандарт /образовательную программу конкретный учащийся? Вступительный экзамен

Национальные/региональные мониторинги Цель: Выяснить, насколько эффективно работает система образования. Насколько эффективно учащиеся овладевают знаниями и навыками в системе образования? Какие достижения демонстрируют представители различных групп учащихся? Какие факторы оказывают влияние на результаты обучения?

Национальные/региональные мониторинги Главная задача - получение данных, позволяющих судить о том, в какой мере достигаются цели, предусмотренные государственным стандартом. В рамках Н/РМ изучаются факторы, негативно или позитивно влияющие на учебные достижения. Такая информация необходима для разработки политики на различных уровнях образования. Проводится: 1 раз в 3-5 лет, по нескольким предметам, на основе выборки учащихся, используются тесты и вопросники

Международные сравнительные исследования Какой уровень учебных достижений показывают учащиеся страны в сравнении с международными трендами ? Что школьные системы других стран «делают лучше»? Как изменяются результаты с течением времени? МСИ становятся причиной пересмотра национального учебного плана, введения новых стандартов, изменения программ подготовки учителей и т.п. Цель: Сравнение достижений своих учащихся с международными трендами.

Международные сравнительные исследования Международная Ассоциация по оценке образовательных достижений - IEA TIMSS (1995, 1999, 2003, 2007, 2008, 2011, 2015 годы) PIRLS (1991, 2001, 2006, 2011, 2016 годы) ICCS (1999, 2000, 2009, 2016 годы) TEDS (2008 год) ICILS (2013) Организация экономического сотрудничества и развития – OECD PISA (2000, 2003, 2006, 2009, 2012, 2015 годы) TALIS (2008, 2013 годы)

ПРИМЕР: Система ОКО в Нидерландах Система образования Самооценка школы Школьные выпускные экзамены Национальные исследования Международные исследования Инспекция Формативное тестирование Суммирующее тестирование

Опыт Армении, Белоруссии, Казахстана, Кыргызстана, России, Таджикистана Экзамен выпускной Экзамен вступительный Национальные мониторинги Международ. срав. исследов. АрменияЕдиный экзамен, Итоговое оценивание Единый экзаменHAAS, BAAS, OLAS, ICTTIMSS, PISA 2015 Белоруссия9 и 11 класс Пис. и устный Центр. тестирование, для 5 и 10 кл. (продв. школы) Ежегодный компл. мониторинг 4, 9, 11 _ КазахстанЕНТ ВОУД, 9 ВОУД для выпускников вузов PISA, TIMSS Кыргызстантрадиционный экзамен (есть альтерн. форма) ОРТНООДУ, 4 и 8PISA ТаджикистанИГАтрадиционный экзамен, ЦВЭ с 2014 г. Нач. Школа, 2009_ РоссияГИА-9, ЕГЭЕГЭнач. школа (разработка),PISA, TIMSS, PIRLS, ICCS, TALIS*, TEDS

ФАКТОРЫ, ОПРЕДЕЛЯЮЩИЕ КАЧЕСТВО СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ

ФАКТОРЫ/ПАРАМЕТРЫ КАЧЕСТВА Три основных фактора, которые обуславливают качество системы оценивания: благоприятная внешняя среда координация и согласованность с элементами образовательной системы технология (AERA, APA, & NCME, 1999; Darling-Hammond & Wentworth, 2010)

БЛАГОПРИЯТНАЯ СРЕДА Благоприятная внешняя среда связана с более широким контекстом, в котором происходит оценивание, и с тем, насколько такой контекст способствует и помогает проведению оценивания.

БЛАГОПРИЯТНАЯ СРЕДА Ф акторы, влияющие на способность стабильно и эффективно заниматься оцениванием Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Законодательные и политические приоритеты изложены в официальных документах Построена на прозрачных процедурах Обеспечивает принятие ключевых решений Четко описывает роли и обязанности всех субъектов Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Наличие стабильных объемов и источников финансирования Покрывает затраты на основные мероприятия, а также на научно- технологическую деятельность Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Стабильные, с высоким статусом и авторитетом Необходимая материально- техническая инфраструктура Надлежащий баланс между самостоятельностью и отчетностью Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Персонал для выполнения основных функций - имеется в достаточном количестве, - стабильный, - квалифицированный Наличие системы подготовки кадров ( соответствующие программы в вузах, учебные курсы, ознакомительные семинары и т.п.) Политика Финансовые ресурсы Организационные ресурсы Кадры

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Координация и согласованность с образовательной системой показывает, насколько система оценивания взаимоувязана с остальными компонентами системы образования.

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Включает связь оценочных мероприятий с целями обучения, стандартами и учебным планом, учебниками и методическими материалами, профессиональным развитием учителя. Учебный план Учебники Проф. развитие учителя

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Насколько задания тестов соответствуют целям и содержанию обучения, детализированным в стандарте и учебной программе Связь между ожиданиями (что ученики должны освоить) и реалиями (что осваивают в действительности) Учебный план Учебники Проф. развитие учителя

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Насколько оцениваемые у школьников знания и навыки соответствуют содержанию учебной литературы и могут быть сформированы с её помощью Учебный план Учебники Проф. развитие учителя

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Различные учебные мероприятия и учебные ресурсы по подготовке и повышению квалификации учителя в области использования данных оценки или организации собственных оценочных мероприятий Учебный план Учебники Проф. развитие учителя

ТЕХНОЛОГИЯ Технология относится к психометрическому качеству инструментария, процессов и процедур, применяемых при оценочной работе.

ТЕХНОЛОГИЯ Технология важна, т.к. если оценивание ненадежное в части дизайна, проведения, анализа, использования, то его результаты повлекут некорректные решения в отношении обучения учащихся и качества системы Дизайн Администрирование Анализ результатовПрименение

ТЕХНОЛОГИЯ Дизайн теста лежит в основе получения надёжных и достоверных данных. Дизайн строится в соответствии с психометрическими стандартами. Дизайн включает: подготовку спецификации, разработку и экспертизу тестов и вопросников, претестирование и подготовку итоговых вариантов измерителей Дизайн Администрирование Анализ результатов Применение

ТЕХНОЛОГИЯ Процедура проведения должна быть: - прозрачна для внешних субъектов и понятна исполнителям - хорошо регламентирована - обеспечивать информационную безопасность - осуществляться подготовленными специалистами Дизайн Администрирование Анализ результатов Применение

ТЕХНОЛОГИЯ Анализ и интерпретация данных проводится в соответствии - с установленными стандартами и надёжными методиками статистического анализа - с вопросами, на которые должна дать ответа оценка - с учётом факторов, оказывающих влияние на результаты (если это возможно) Дизайн Администрирование Анализ результатов Применение

ТЕХНОЛОГИЯ Грамотное использование результатов оценки поможет избежать некорректных решений в отношении учащихся школ и системы образования Дизайн Администрирование Анализ результатов Применение

РАМКА И ИНДИКАТОРЫ ДЛЯ СИСТЕМЫ ОКО Ключевые параметры эффективной системы оценивания Виды программ оценки Внутриклассное оценивание Экзамены Крупномасшт. оценивание (мониторинги) Факторы/ параметры качества Благоприятная среда Согласованность с системой Технология Политика Финансовые ресурсы Организационные структуры Человеческие ресурсы Дизайн Администрирование Анализ Применение Учебный план Учебники и методические материалы Подготовка и повышение квалификации учителей

СИСТЕМА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

Процедуры оценки учебных достижений в РФ Экзамен выпускной Экзамен Вступительный в вуз Национальные мониторинги Международ. срав. исследов. Единый государственный экзамен, 11 класс Государственная итоговая аттестация, 9 класс Единый государственный экзамен, 11 класс В стадии апробации: Готовность к обучению в начальной школе (1 класс) Оценка качества начального образования (4 класс) Оценка качества основного образования (9 класс) Исследование ИКТ-компетентности учащихся (9 класс) PISA, TIMSS, PIRLS, ICCS, … + ОЦЕНКА НА УРОВНЕ ШКОЛЫ Внутриклассное оценивание (много контроля, мало обратной связи) Оценка индивидуального прогресса (инициативные проекты SAM, Дельта)

РАЗВИТИЕ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ Международные исследования Международные исследования + ЕГЭ Международные исследования + ЕГЭ + мониторинговые исследования

ОСОКО завтра. Оценка учебных достижений Государственные экзамены Национальные мониторинги Международ. срав. исследов. Единый государственный экзамен, 11 класс Государственная итоговая аттестация, 9 класс Готовность к обучению в начальной школе (1 класс) Централизованный мониторинг образовательных достижений учащихся начальной и основной школы (4, 8 классы) Мониторинг готовности учащихся основной школы (9 класс) к выбору образовательной и профессиональной траектории Мониторинг уровня социализации выпускников общеобразовательных организаций. PISA, TIMSS, PIRLS, ICCS, … + ОЦЕНКА НА УРОВНЕ ШКОЛЫ Внутриклассное оценивание (разнообразные инструменты, критериальное оценивание) Оценка индивидуального прогресса

Государственная политика в сфере ОКО Закон «Об образовании в Российской Федерации» Федеральная целевая программа развития образования Государственная программа «Развитие образования»на гг. Приказы Минобрнауки РФ: Об утверждении положения о формах и порядке проведения государственной (итоговой) аттестации обучающихся, освоивших основные общеобразовательные программы среднего (полного) общего образования Об утверждении Порядка приема граждан в образовательные учреждения высшего профессионального образования Система ОКО в ключевых правительственных документах:

Организации системы ОКО Министерство образования и науки РФ Федеральный уровень Региональный уровень Орган управления образованием субъекта РФ Центр оценки качества образования Региональная служба по контролю и надзору

Кадры системы ОКО Программы подготовки НИУ ВШЭ «Измерения в психологии и образовании» МВШСЭН «Менеджмент в сфере образования», «Управление обр. системами на основе данных» Томский политехнический университет «Пед. измерения» РАО, краткосрочные мероприятия Российского тренингового центра Специалисты Разработчики измерительных материалов (сотрудники ФИПИ и внешние эксперты) Специалисты по проведению, обработке данных, подготовке аналитики (ФЦТ, РЦОКО, РАО)

Согласованность с системой Разработка измерительных материалов для государственных экзаменов, мониторингов обучения разрабатываются в соответствии с требованиями федерального государственного образовательного стандарта (ФГОС). Система ОКО слабо согласована с системой подготовки и повышении квалификации учителя. В проф. стандарте педагога отсутствует блок по оценочной компетенции В системе ПК практически нет образовательных программ/ модулей для педагогов и управленцев в области использования данных оценки и организации оценивания.

Технология. Пример ЕГЭ Использование сложной структуры измерительных материалов - задания с множественным выбором (часть А), задания, предусматривающие краткий ответ (часть В) и, ответы в свободной форме (часть С); Экзамены во всех регионах проводятся в установленные сроки; автоматизированное распределение участников и организаторов по аудиториям ППЭ; обеспечение информационной безопасности на всех этапах; документирование всех процессов экзамена (фиксация точного времени начала и окончания процедур ЕГЭ, акты приемки-передачи документов ЕГЭ и др.).

Базовая технология ЕГЭ КИМ БР

Использование результатов ОКО для управлением качеством образования На федеральном уровне: для разработки образовательных стандартов; для разработки примерных образовательных программ; для разработки учебников; для оценки эффективной работы региональных органов исполнительной власти субъектов Российской Федерации На региональном и школьном уровнях: для оценки деятельности учителя (в том числе и в распределении стимулирующей части заработной платы); для аккредитация образовательного учреждения; для разработки программ развития ОУ; для оценки эффективности управления образовательной сетью; для системы подготовки педагогических кадров и повышения квалификации

СПАСИБО ЗА ВНИМАНИЕ!