Факторы, определяющие качество системы ОКО. ТЕХНОЛОГИЯ Решетникова Оксана Александровна заместитель директора Российского тренингового центра, к.п.н. Учебный курс «Ключевые аспекты построения эффективной системы оценки качества образования и использования результатов оценки учебных достижений школьников» марта 2012 года, г. Москва

определены и реализованы компоненты: Надежный инструментарий Процедура проведения оценивания Качественный анализ и представление результатов Вовлечение политиков и профессионального сообщества, поддержка других заинтересованных сторон Система оценивания эффективна, если:

Условия эффективного использования результатов оценки учебных достижений ИЗМЕРИТЕЛИ СБОР КАЧЕСТВЕННОЙ ИНФОРМАЦИИ ТЕХНОЛОГИЯ КАЧЕСТВЕННЫЙ СБОР ИНФОРМАЦИИ

Этапы разработки инструментария: 1.Определение цели тестирования и разработка спецификации теста. 2.Разработка заданий для теста. 3.Экспертиза и доработка заданий. 4.Апробация и доработка заданий. 5.Составление теста. 6.Проведение апробации теста и обработка полученных результатов. 7.Доработка теста и подготовка окончательного варианта. Подробнее: Л.Крокер, Д. Алгина «Введение в классическую и современную теорию тестов»

Требования к измерительному материалу: 1.Валидность измерителя Валидность – характеристика, отражающая адекватность измерителя целям измерения. (Критериальная, содержательная, техническая) 2. Надежность в использовании при одновременном проведении процедуры оценивания; достаточность количества эквивалентных измерителей для исключения списывания; четкое соответствие структуры измерителя установленному формату обработки и проверки; однозначность критериев оценивания во всех заданиях измерителя

ОБОСНОВАННОСТЬ НАДЕЖНОСТЬ ПРОЗРАЧНОСТЬ ОТКРЫТОСТЬ ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ

НЕОБХОДИМО ОБОСНОВАНИЕ: ПРОЦЕДУРЫ (МЕТОДОВ, МЕХАНИЗМОВ, СРОКОВ, ФОРМАТОВ ПРЕДСТАВЛЕНИЯ РЕЗУЛЬТАТОВ) ВЫБОРКИ УРОВНЯ ЗАЩИТЫ ПРОЦЕДУРЫ И ИСПОЛЬЗУЕМЫХ СРЕДСТВ ИНСТРУКТИВНО-МЕТОДИЧЕСКОГО ОБЕСПЕЧЕНИЯ ДОКУМЕНТИРОВАНИЯ ОСНОВНЫХ ПРОЦЕССОВ И ЭТАПОВ КРИТЕРИЕВ И МЕТОДИК ОЦЕНКИ ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: ОБОСНОВАННОСТЬ

«Оценка образовательных достижений на национальном уровне» Винсент Грини, Томас Келлаган ПризнакНациональная оценка (мониторинги)Государственные экзамены Цель Обеспечить обратную связь для тактиков в образовании Аттестовать и отобрать учащихся Частота Для отдельных предметов регулярно, периодически Регулярно Продолжительность Один или два дняМогут продолжаться несколько недель Кто проверяется? Обычно выборка учащихся определенного возраста или класса Все учащиеся, желающие пройти экзамен на проверяемом уровне образования Форма заданий Обычно задания с множественным выбором и краткими ответами Обычно эссе и задания с множественным выбором Ответственность НизкаяВысокая Узнают ли учащиеся свои результаты? ИзредкаВсегда Сбор дополнительной информации ЧастоРедко Оценивание Обычно включает статистически сложные методики анализа результатов Обычно простой процесс, основанный на предварительно определенной схеме оценки

ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: обоснованность

Количество участников - около участников Количество экзаменов - более экзаменов Количество ППЭ - более 7000 пунктов Количество регионов с труднодоступными и отдаленными территориями (на территории РФ) – 18 регионов Количество часовых зон (часовых поясов) - 9 часовых зон (с 2011 г.) Количество привлекаемых к проведению ЕГЭ спец-ов в ППЭ – более чел. Некоторые количественные характеристики Единого государственного экзамена в 2011 г. (май-июнь):

Объединение двух целей (государственная итоговая аттестация выпускников 11 классов и вступительные испытания в высшие учебные заведения страны): разграничение полномочий федерального и регионального уровней, установленных Законом об Образовании РФ сроки проведения процедуры ЕГЭ и обработки его результатов (6 дней – обязательные экзамены, 3 дня – выборные) необходимость поддержки возможности апеллирования к результатам, процедуре Использование наиболее сложной структуры контрольных измерительных материалов по всем общеобразовательным предметам, включающих задания с множественным выбором, задания, предусматривающие краткий ответ и, ответы в свободной форме (часть С): необходимость осуществления проверки двумя способами (автоматизированной и ручной для части С) одновременно Возможность проведения перекрестной проверки части С экспертами из разных регионов Некоторые качественные характеристики Единого государственного экзамена, обосновывающие выбор технологии

Система Единого государственного экзамена в России

Обеспечение равных условий участия Отказоустойчивость технологии Защищенность Гибкость, превентивность ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: надежность

Четкие и простые правила участия Легитимность с точки зрения законодательства Заблаговременно установленный порядок взаимодействия структур внутри системы и закрепление за ними определенных функций Публичные отчеты о проведении ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: прозрачность

Доступ к информации: О процедуре О контрольных измерительных материалах О возможности использования результатов ПРИНЦИПЫ ОРГАНИЗАЦИИ ПРОЦЕДУРЫ ПРОВЕДЕНИЯ ОЦЕНИВАНИЯ: открытость

СХЕМА ОПРЕДЕЛЕНИЯ ТЕХНОЛОГИИ ЦЕЛЬ Определение выборки Определение мер информац. безопасности Определение организационно- территориальной схемы Репрезента- тивная Генеральная Тиражирова ние Обработка Определение статуса результатов, форматов статистики Сбор БД Расчет рисков Подготовка кадров Организация процедуры оценивания Поль- зователь Определение структуры и содержания инструктивно- методического обеспечения Определение порядка проведения процедуры

Технология должна обеспечивать: Качественный сбор информации Существенно сокращать время сбора информации Предоставлять равные возможности участникам оценочной процедуры Должна быть понятной исполнителям Должна быть отказоустойчива Должна обеспечить необходимую степень информационной безопасности и пресечение возможности фальсификации результатов ТЕХНОЛОГИЯ – как компонент, обеспечивающий эффективность процедуры оценивания:

«Обратная связь» - источник информации для оптимизации технологии и основной показатель эффективности процедуры оценивания Источники: Апелляции по процедуре проведения Общественное наблюдение Анализ обращений на «горячую линию» Социологические опросы Общественные форумы ТЕХНОЛОГИЯ – как компонент, обеспечивающий эффективность процедуры оценивания

Для чего? Для обеспечения качественного сбора информации, необходимой для системы образования, в целях оценки качества образования Качество образования - основная характеристика системы образования, которая определяет соответствие образовательных результатов обучающихся и контекстных условий получения образования ожиданиям как самих обучающихся, их родителей, так и общества в целом. Характеристика компонентов, определяющих эффективность системы оценивания

СПАСИБО ЗА ВНИМАНИЕ! «Мастерство – это когда «что» и «как» приходят одновременно» В.Э. Мейерхольд