Условия эффективного использования результатов оценки учебных достижений И.А. Вальдман директор Российского Тренингового центра ИУО РАО Учебный курс «Использование результатов оценки учебных достижений школьников и результатов мониторинговых исследований для выработки управленческих решений на разных уровнях системы образования» ноября 2011 года, г. Москва

ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ УСЛОВИЯ, КОТРЫЕ НЕОБХОДИМО УЧИТЫВАТЬ

НАПРАВЛЕНИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 1.Принятий решений о поддержке конкретных учащихся. для корректировки образовательного процесса (определение проблем в обучении и мер по их преодолению для отдельных школьников); для выявления уровня достигнутой квалификации (освоил образовательную программ начального общего образования или нет).

НАПРАВЛЕНИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 2.Принятий решений на разных уровнях системы образования. для информирования политики и разработки программ, (установления существа и масштаба проблем, определение направлений воздействий, способных улучшить ситуацию); для наблюдения за индикаторами ключевых результатов и определением каких-либо непредвиденных отклонений от установленных тенденций или взаимосвязей; для оценки влияний определённой политики и/или программ предпринятых действий.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Данные о достижениях учащихся могут быть использованы для принятия решений, обеспечивающих выработку разнообразных образовательных стратегий, направленных на обеспечение равных возможностей обучения всем учащимся. К таким стратегиям могут быть, например, отнесены: - разработка программ повышения эффективности обучения; - выявление наименее подготовленных учащихся в целях предоставления им необходимой помощи; - оказание соответствующей ресурсной, организационной и методической поддержки «неэффективно» работающим учителям и школам, и др.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Эффективное использование результатов оценки зависит от ряда условий, которые следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 1.Политический контекст: Контроль или Поддержка. Контроль Для наложения санкций и раздачи поощрений Нет права на ошибку ОУ не заинтересовано в обнаружении проблем Поддержка Оказание содействия ОУ и муниципалитетам в преодолении существующих проблем Есть право на ошибку. Неудача – сигнал для оказания помощи. ОУ заинтересовано в обнаружении проблем

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 2.Поддержка заинтересованных сторон. Крайне важно, чтобы все заинтересованные стороны пришли к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 3.Наличие надёжного инструментария. Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам, является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества.

ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ ТЕСТА 1.Определение цели тестирования и разработка спецификации теста. 2.Разработка заданий для теста. 3.Экспертиза и доработка заданий. 4.Апробация и доработка заданий. 5.Составление теста. 6.Проведение апробации теста и обработка полученных результатов. 7.Доработка теста и подготовка окончательного варианта.

РЕСУРСЫ: ПРИЗНАННЫЕ ПУБЛИКАЦИИ Серия Всемирного банка «Национальная оценка учебных достижений» Книга 1. Оценка образовательных достижений на национальном уровне Книга 2. Разработка тестов и анкет для национальной оценки учебных достижений. Книга 3. Проведение национальной оценки учебных достижений. Книга 4. Анализ данных национальной оценки учебных достижений. Книга 5. Сообщение и использование результатов национальной оценки учебных достижений. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник. – М.: Логос, 2010.

ПРИМЕР ИЗ ОБЛАСТИ РИСОВАНИЯ 1 %100 %2 %10 % Насколько точно проводится измерение? Что не поддается измерению? Сколько информации мы теряем, представляя сложную картину в черно-белом цвете?

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 4.Наличие надёжной стандартизированной процедуры проведения оценки. Стандартизированная процедура должна обеспечивать информационную безопасность проведения оценки, предотвращать возможные нарушения и фальсификацию данных, обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи учащиеся принимали участие в оценке.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 5.Ориентация на информационные потребности основных групп пользователей результатов оценки. Соответствующая информация должна достигать представителей всех заинтересованных сторон (разнообразные информационные продукты). Информацию следует представлять в форме, понятной потенциальным пользователям (интерпретация результатов).

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 6. Подготовка ясного итогового отчёта. Итоговый отчёт (на уровне федерации, региона, муниципалитета, общеобразовательного учреждения) является наиболее важным и наиболее полезным из всех информационных материалов, которые могут быть подготовлены на основе данных процедуры оценки.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 7.Учёт дополнительных данных при принятии управленческих решений по итогам оценки. Крайне важно, чтобы при принятии решений «с высокими ставками», такими как государственные экзамены, аккредитация школ, аттестация педагогов и др., выводы о качестве образования делались не только на основе результатов процедур оценки качества образования.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 7.Учёт дополнительных данных при принятии управленческих решений по итогам оценки. Невозможно принимать «сложные» решения на основании данных одного вида «Простые» решения Итоговая государственная аттестация по предмету. Как учителю и школе организовать работу «над ошибками» Более «сложные» решения Выбор профиля обучения в старшей школе «Сложные» решения Оценка качества работы учителя Оценка эффективности работы школы

ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ВАЖНЫЕ СЮЖЕТЫ

Модель использования данных: линейный рейтинг Линейный рейтинг Анализ факторов Поощрения Санкции Анализ факторов Поощрения Санкции Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ …….. Ш N _______ Ш N+1 ________ Ш N+2 ________ …….. Ш N+k ________ «Сильные» школы Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ «Слабые» школы Ш N+1 _______ Ш N+2 _______ …….. Ш N+k _______ «Сильные» школы Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ «Слабые» школы Ш N+1 _______ Ш N+2 _______ …….. Ш N+k _______

Модель использования данных: кластерный анализ Кластерный анализ Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Ш1.1________ Ш1.2________ Ш1.3________ …….. Ш1.14_______ Ш1.15_______ К1 Ш2.1________ Ш2.2________ Ш2.3________ …….. Ш2.21_______ К2 К3 «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. Ш3.1________ Ш3.2________ Ш3.3________ …….. Ш3.11_______ Ш3.12_______

МОДЕЛЬ ИСПОЛЬЗОВАНИЯ ДАННЫХ Кластер. анализ «Слабые» школы Анализ факторов Меры поддержки Оценка От линейного рейтинга к кластерному сравнению и анализу факторов

Анализ данных с учётом факторов: Канада Расхождение в успеваемости по чтению по провинциям NF NB NS ON QU AB BC MB SK AB BC QU SK ON MB NS NF PE Скорректировано для ОИВ и Семейного Окружения (СО) NB Скорректировано для ОИВ, СО и Школьного Контекста (ШК) Скорректировано для ОИВ, СО, ШК, и Процесса Обучения (ПО) Скорректировано для Ошибки Измерения и Выборки (ОИВ)

Учёт внешних факторов: Шотландия

PISA-2003: Учёт внешних факторов Вариативность успеваемости внутри школ Вариативность успеваемости между школ Вариативность объясняется социально-экономическим уровнем учащихся и школ

Результаты России в PISA-2009

PISA-2009: Финляндия и Россия Descriptive Statistics FINLAND NMinMaxMeanSD mean read mean math mean science Descriptive Statistics RUSSIA NMinMaxMeanSD mean read mean math mean science

Опыт Финляндия В Финляндии 30% детей охвачены различными программами поддержки детей со специальными потребностями. «Нам дешевле оплачивать финансирование образовательных программ, нежели преодолевать возможные социальные последствия – борьба с преступностью, наркоманией и т.п.»

Смена стратегии От Поддержка сильных в условиях забвения слабых к Поддержке слабых в условиях предоставления автономии сильным Майкл Барбер Чем выше успехи, тем слабее контроль. Стратегии, которые используются сильными школами для собственного развития, не подходят для слабых школ в силу ряда причин (культурных, социальных, ресурсных, человеческих и т.п.)

Опыт Великобритании Основание для определения слабой школы: низкий результат теста и неадекватный прогресс. Как определить, что школа проблемная: результаты тестов (но это слишком однобоко), добавленная стоимость (более адекватный показатель, так как работает с динамикой), результаты инспекции, упоминания в СМИ, другие свидетельства. Характеристики слабых школ: расположены в бедных районах, высокая текучесть учителей, концентрация детей с низким соц.- эконом. статусом, предпринятые ранее вмешательства не были успешными.

СПАСИБО ЗА ВНИМАНИЕ!