Факторы, определяющие качество системы ОКО Учебный курс «Ключевые аспекты построения эффективной системы оценки качества образования и использования результатов оценки учебных достижений школьников» марта 2012 года, г. Москва И.А. Вальдман директор Российского Тренингового центра ИУО РАО СЕССИЯ 2

КЛЮЧЕВЫЕ ВОПРОСЫ Какую роль в становлении системы ОКО играет благоприятная среда? Каким образом оценка образовательных достижений учащихся должна быть связана с ключевыми элементами системы образования? Каковы основные стадии развития системы оценки качества образования?

ФАКТОРЫ/ПАРАМЕТРЫ КАЧЕСТВА Три основных фактора, которые обуславливают качество системы оценивания: благоприятная внешняя среда координация и согласованность с элементами образовательной системы технология (AERA, APA, & NCME, 1999; Darling-Hammond & Wentworth, 2010)

БЛАГОПРИЯТНАЯ СРЕДА Благоприятная внешняя среда связана с более широким контекстом, в котором происходит оценивание, и с тем, насколько такой контекст способствует и помогает проведению оценивания.

БЛАГОПРИЯТНАЯ СРЕДА Ф акторы, влияющие на способность стабильно и эффективно заниматься оцениванием Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Законодательные и политические приоритеты изложены в официальных документах Построена на прозрачных процедурах Обеспечивает принятие ключевых решений Четко описывает роли и обязанности всех субъектов Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Наличие стабильных объемов и источников финансирования Покрывает затраты на основные мероприятия, а также на научно- технологическую деятельность Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Стабильные, с высоким статусом и авторитетом Необходимая материально- техническая инфраструктура Надлежащий баланс между самостоятельностью и отчетностью Политика Финансовые ресурсы Организационные ресурсы Кадры

БЛАГОПРИЯТНАЯ СРЕДА Персонал для выполнения основных функций - имеется в достаточном количестве, - стабильный, - квалифицированный Наличие системы подготовки кадров ( соответствующие программы в вузах, учебные курсы, ознакомительные семинары и т.п.) Политика Финансовые ресурсы Организационные ресурсы Кадры

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Координация и согласованность с образовательной системой показывает, насколько система оценивания взаимоувязана с остальными компонентами системы образования.

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Включает связь оценочных мероприятий и системных целей обучения, стандартами и учебным планом, учебниками и методическими материалами, профессиональным развитием учителя. Учебный план Учебники Проф. развитие учителя

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Насколько задания тестов соответствуют целям и содержанию обучения, детализированным в стандарте и учебной программе Связь между ожиданиями (что ученики должны освоить) и реалиями (что осваивают в действительности) Учебный план Учебники Проф. развитие учителя

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Насколько оцениваемые у школьников знания и навыки соответствуют содержанию учебной литературы и могут быть сформированы с её помощью Учебный план Учебники Проф. развитие учителя

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Различные учебные мероприятия и учебные ресурсы по подготовке и повышению квалификации учителя в области использования данных оценки или организации собственных оценочных мероприятий Учебный план Учебники Проф. развитие учителя

ТЕХНОЛОГИЯ Технология относится к психометрическому качеству инструментария, процессов и процедур, применяемых при оценочной работе.

ТЕХНОЛОГИЯ Технология важна, т.к. если оценивание ненадежное в части дизайна, проведения, анализа, использования, то его результаты повлекут некорректные решения в отношении обучения учащихся и качества системы Дизайн Администрирование Анализ результатовПрименение

ТЕХНОЛОГИЯ Дизайн теста лежит в основе получения надёжных и достоверных данных. Дизайн строится в соответствии с психометрическими стандартами. Дизайн включает: подготовку спецификации, разработку и экспертизу тестов и вопросников, претестирование и подготовку итоговых варинатов измерителей Дизайн Администрирование Анализ результатов Применение

ТЕХНОЛОГИЯ Процедура проведения должна быть: - прозрачна для внешних субъектов и понятна исполнителям - хорошо регламентирована - обеспечивать информационную безопасность - осуществляться подготовленными специалистами Дизайн Администрирование Анализ результатов Применение

ТЕХНОЛОГИЯ Анализ и интерпретация данных проводится в соответствии - с установленными стандартами и надёжными методиками статистического анализа - с вопросами, на которые должна дать ответа оценка - с учётом факторов, оказывающих влияние на результаты (если это возможно) Дизайн Администрирование Анализ результатов Применение

ТЕХНОЛОГИЯ Грамотное использование результатов оценки поможет избежать некорректных решений в отношении учащихся школ и системы образования Дизайн Администрирование Анализ результатов Применение

РАМКА ДЛЯ СИСТЕМЫ ОКО Ключевые параметры эффективной системы оценивания Виды/цели программ оценки Внутриклассное оценивание Экзамены Крупномасшт. оценивание (мониторинги) Факторы/ параметры качества Благоприятная среда Согласованность с системой Технология

РАМКА И ИНДИКАТОРЫ ДЛЯ СИСТЕМЫ ОКО Ключевые параметры эффективной системы оценивания Виды/цели программ оценки Внутриклассное оценивание Экзамены Крупномасшт. оценивание (мониторинги) Факторы/ параметры качества Благоприятная среда Согласованность с системой Технология Политика Финансовые ресурсы Организационные структуры Человеческие ресурсы Дизайн Администрирование Анализ Применение Учебный план Учебники и методические материалы Подготовка и повышение квалификации учителей

УРОВНИ РАЗВИТИЯ СИСТЕМЫ ОЦЕНКИ Латентный Созданный Зрелый Создаваемый

УРОВНИ РАЗВИТИЯ СИСТЕМЫ ОЦЕНКИ Латентный уровень – самый низкий, он показывает отсутствие определяющих признаков Создаваемый уровень - частично присутствуют определяющие признаки Созданный уровень – система обладает минимальным набором желаемых показателей Зрелый уровень – представлены идеальные или лучшие практики

УРОВНИ РАЗВИТИЯ СИСТЕМЫ ОЦЕНКИ СоздаваемаяСозданная Благоприятная внешняя среда Нет или ограниченная политическая рамка Наличие политической рамки Мало подготовленного персонала; высокая текучесть кадров Учебные программы/обученный персонал и низкая текучесть кадров Ненадежное финансирование Стабильное финансирование Неясные институциональные системы/мероприятия Четкие институциональные структуры/мероприятия

УРОВНИ РАЗВИТИЯ СИСТЕМЫ ОЦЕНКИ СоздаваемаяСозданная Координация и согласованность с элементами системы образования Оценивание не полностью соответствует целям обучения Оценивание соответствует целям обучения Оценивания не сихронизированы с реформами в других областях Оценивание сихронизировано с реформами в других областях

УРОВНИ РАЗВИТИЯ СИСТЕМЫ ОЦЕНКИ СоздаваемаяСозданная Технология Ограниченное использование результатов Систематическое использование результатов для информирования политиков и практиков Ограниченное знание и применение технологических или профессиональных стандартов Знание и применение технологических или профессиональных стандартов

УРОВНИ РАЗВИТИЯ СИСТЕМЫ ОЦЕНКИ Зрелый уровень - те же позиции, что и для Созданного уровня + сильный акцент на: Оценивание для обучения Внутриклассное оценивание Роль учителей Инновационные и основанные на исследованиях практики

СПАСИБО ЗА ВНИМАНИЕ!