И.А. Вальдман зав. лабораторией мониторинга в образовании Института управления образованием РАО, директор Российского тренингового центра ИУО РАО, к.п.н. - презентация

1 И.А. Вальдман зав. лабораторией мониторинга в образовании Института управления образованием РАО, директор Российского тренингового центра ИУО РАО, к.п.н. Вебинар по проекту « ДОРАБОТКА, АПРОБАЦИЯ И ВНЕДРЕНИЕ ИНСТРУМЕНТАРИЯ И ПРОЦЕДУР ОЦЕНКИ КАЧЕСТВА НАЧАЛЬНОГО ОБЩЕГО ОБРАЗОВАНИЯ В СООТВЕТСТВИИ С ФЕДЕРАЛЬНЫМИ ГОСУДАРСТВЕННЫМИ ОБРАЗОВАТЕЛЬНЫМИ СТАНДАРТАМИ » Создание информационных ресурсов по результатам оценки качества образование 18 мая 2012 года

2 От чего зависит успех программ оценки Успех любой программы оценки учебных достижений зависит от умения проводить взвешенную информационную политику, интерпретировать результаты оценки качества образования и доводить их до представителей заинтересованных сторон.

3 Техническая компетентность групп пользователей информации опытные пользователи высокой квалификации, которые способны проводить начальный многоуровневый и много вариативный статистический анализ; пользователи средней квалификации, которые способны проводить начальный сравнительный и описательный анализ; пользователи с базовой квалификацией, которые обладают начальными знаниями в области анализа результатов и используют данные из опубликованных отчётов для создания новых информационных продуктов; обычные пользователи, не имеющие специальной подготовки, которые используют выводы и заключения, извлечённые из опубликованных источников; неподготовленные пользователи, которые используют только стилизованные факты, извлечённые из опубликованных источников. А С В

4 Пользователи и их техническая компетентность Граждане Ученики Родители Учителя Администраторы и управленцы Государственные деятели Профессиональные союзы Общественные лидеры Представители системы подготовки и ПК учителей СМИ А В С С С С С С С В В Исследователи

5 Информационные ресурсы характеристика теста (кодификатор, спецификация и др.); банк заданий; базы данных с результатами оценки; характеристика выборки участников тестирования; данные о взаимосвязи достижений школьников и контекстных характеристик; примеры заданий и описание основных ошибок для отдельных заданий; техническая документация и фактические материалы (руководства, протоколы проведения и т.п.).

6 Информационные продукты, которые могут готовиться на основе характеристики теста Характеристика теста. Представляет собой научное основание для проведения оценки и, как правило, включает ключевые аспекты дизайна теста: цели теста; содержание материала, отобранного для оценки; факторы, определяющие сложность теста; диапазон трудности, который будет охвачен тестом; время выполнения теста; сочетание типов заданий, которые будут включены в тест; система оценки и др. Соответствующие информационные продукты 1.Печатное/электронное издание с описанием характеристики теста, которое делается публично доступным до выпуска результатов оценки. Ранняя публикация отчёта направлена на предотвращение критики, связанной с прозрачностью программы оценки. 2.Презентации. Везде, где только это возможно, должны быть сделаны презентации для ключевых групп с целью демонстрации открытости процесса разработки оценки и её научной полноты. 3.Рецензии. Необходимо позаботиться о получении экспертных рецензий на спецификацию. Авторитетные мнения могут помочь противостоять любой отрицательной реакции на результаты оценки после публикации данных.

7 Основные информационные продукты 1. Региональный отчёт по итогам оценки. 2. Резюме отчёта. 3. Специализированный отчёт (по предмету, группе учащихся). 4.Отчёт о результатах оценки по школе. 5. Информационный буклет для родителей. 6.Пресс-релиз.

8 КАНАЛЫ РАСПРОСТРАНЕНИЯ ИНФОРМАЦИИ Первичные каналы распространения информации: Печатные отчёты Электронные отчёты (в Интернет, на CD или картах памяти); Радио; Телевидение; Мультимедийные продукты. Каналы вторичного распространения информации: Реклама; Внутренние и внешние брифинги; Интервью с журналистами; Пресс-конференции, брифинги, конференции и семинары; Публицистические статьи; Новостные письма; Статьи в информационные бюллетени.

9 Что нужно учитывать для усиления влияния результатов Обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх ключевых составляющих «джентльменского набора», которым должна обладать квалифицированная организация, проводящая оценку. 1. Знание пользователей результатов программ оценки и их информационных потребностей. 2. Наличие информационных продуктов и услуг, способных удовлетворить существующие информационные потребности. 3.Понимание, какими способами следует доводить информацию до пользователей.

10 ИНФОРМАЦИОННЫЕ ПРОДУКТЫ

11 РЕГИОНАЛЬНЫЙ ОТЧЁТ Региональный отчёт является наиболее полным и всесторонним из всех информационных продуктов, которые могут быть подготовлены на основе данных оценки. Он служит основой для подготовки других информационных материалов. Должен быть написан доступным для широкой аудитории языком. Объём – 20 страниц (без учёта приложений) Основные разделы Цели и назначение программы оценки Методология оценки и характеристика инструментария Основные результаты Рекомендации для повышения качества образования Приложения

12 РЕЗЮМЕ РЕГИОНАЛЬНОГО ОТЧЁТА В Резюме (краткой версии) отчёта излагается краткая характеристика оценочной процедуры и основные результаты и выводы. Кроме того, может быть анонсирована структура полной версии отчёта Именно резюме в первую очередь прочитают управленцы и руководители. Резюме даст возможность потенциальным читателям принять решение, читать ли полную версию отчёта. Объём – 2-5 страниц. Основные разделы Цели программы оценки, её краткая характеристика (0,5 стр.) Основные результаты (включая графики) Ключевые выводы и рекомендации Контактная информация (где можно прочесть полную версию доклада)

13 СПЕЦИАЛИЗИРОВАННЫЙ ОТЧЁТ Специализированный отчёт фокусируется на результатах в конкретных областях, например: результаты по конкретному учебному предмету; определённый вид обр. достижений (например, метапредметные результаты); Особые группы учащихся (мальчики и девочки, сельские школьники и т.п.) Объём – 10 страниц (без учёта приложений) Основные разделы Введение (цели и назначение программы оценки ) Характеристика инструментария по области специализации отчёта Представление результатов (включая ошибки и наиболее трудные задания) Рекомендации для повышения качества образования Приложения

14 ОТЧЁТ ПО ШКОЛЕ Отчёт по школе готовиться для обсуждения успехов и проблем, выявленных в ходе оценки качества образования. Служит информационной основой для совершенствования учебно- методической работы и оказания помощи школьникам, нуждающимся в поддержке. Готовится школьной командой, используется для нужд школы и не представляется вышестоящим органам. Данные отчёта могут быть представлены в публичном докладе школы и использованы при проведении самооценки собственной деятельности. Объём – 5-7 страниц (без учёта приложений)

15 ИНФОРМАЦИОННЫЙ БУКЛЕТ ДЛЯ РОДИТЕЛЕЙ Информационный бюллетень – короткий информационный продукт, представляющий общую информацию о программе оценки и ориентированный на целевую группу – родители учащихся начальной школы. Даёт ответы на наиболее важные для родителей вопросы: Что оценивается? С какой целью? Что даст ребёнку участие в данном тестировании? Требуется ли специальная подготовка к тесту? Участие добровольное или обязательное? Могут ли быть негативные последствия для ребёнка и школы? Кто готовит? Региональные специалисты, ответственные за проведение программы оценки. Желательно привлечь журналистов для работы над текстом. Объём – 1-2 страницы

16 ПРЕСС-РЕЛИЗ Пресс-релиз – сообщение для прессы, подготовленное для журналистов и редакторов СМИ и рассказывающее о значимом событии, мероприятии или ином информационном поводе. Выпускается под информационный повод (появились результаты оценки). Объём не более двух страниц. Ответственные за подготовку – Пресс-служба ОУО и РЦОКО. Рекомендации и примеры : Главная задача пресс-релиза - сообщить новость таким образом, чтобы она была опубликована в СМИ и/или Internet и заинтересовала журналиста и побудила его обратиться за комментариями и дополнительной информацией.

17 РЕГИОНАЛЬНЫЙ ОТЧЁТ СТРУКТУРА И СОДЕРЖАНИЕ

18 ОСНОВНЫЕ ЦЕЛЕВЫЕ ГРУППЫ Оценка индивидуальных достижений 1. Образовательные учреждения. 2. Обучающиеся и их родители. 3. Органы управления образованием субъекта РФ (в случае аккредитации ОУ или контрольно-надзорных мероприятий) Оценка состояния системы начального образования 1. Органы управления образованием. 2. Учреждения системы повышения квалификации пед. кадров. 3. Средства массовой информации.

19 РЕГИОНАЛЬНЫЙ ОТЧЁТ: СТРУКТУРА Цели и назначение программы оценки 1. Описание целей и результатов, для достижения которых проводилась оценка. При подготовке этого раздела использовать документ «Актуальные направления оценки качества начального образования в Российской Федерации». 2.Заказчики, организаторы и ответственные за проведение оценки. 3. Основные группы пользователей информации.

20 РЕГИОНАЛЬНЫЙ ОТЧЁТ: СТРУКТУРА Методология оценки и характеристика инструментария 1. Характеристика выборки (по ученикам и школам, особенности российской и региональной выборки). 2. Характеристика инструментария для ОКО (описание структуры тестов и вопросников, уровней и структуры освоения ООП и т.д.). При подготовке этого раздела использовать «Рекомендации по проведению апробации», а также письма по результатам проведения апробации. 3. Описание процедуры проведения оценки (обеспечение достоверности, персонификация процедур).

21 РЕГИОНАЛЬНЫЙ ОТЧЁТ: СТРУКТУРА Основные результаты 1. Представление результатов ОКО по всем показателям качества начального образования, измеряемым в рамках процедуры оценки и того, как достижения варьируются среди различных групп учащихся (мальчики-девочки, по группам детей с разным уровнями подготовки). Использовать письма по результатам апробации. 2. Рассмотрение и анализ факторов, которые оказывают влияние на результаты достижений учащихся. на этапе апробации использовать обобщённые результаты – данные по учебникам и квалификации учителей по РФ.

22 РЕГИОНАЛЬНЫЙ ОТЧЁТ: СТРУКТУРА Рекомендации для повышения качества образования 1.Обобщённая констатирующая часть о состоянии качества начального образования в период введения ФГОС в регионе. 2.Обобщённые рекомендации для основных целевых групп, направленные на и повышение качества обучения в соответствии с требованиями ФГОС и преодоление обнаруженных проблем. использовать формы и таблицы представления результатов

23 РЕГИОНАЛЬНЫЙ ОТЧЁТ: СТРУКТУРА Приложения Статистические таблицы, которые иллюстрируют основные результаты, представленные в отчёте и ссылки на источники, которыми можно пользоваться при проведении вторичного отчёта (обобщённые таблицы, например по ОУ без указания названия школы, результаты обработки анкет). использовать формы и таблицы представления результатов

24 ПОЛЕЗНЫЕ СОВЕТЫ 1. После завершения сбора данных результаты оценки необходимо как можно скорее оформить в виде отчета. Любые проволочки уменьшают ценность полученных результатов. 2. Отчет должен быть лаконичным, написанным доступным для широкой аудитории языком, лишенным специфических терминов, употребляемых только в сфере образования или педагогических измерений.

25 ПОЛЕЗНЫЕ СОВЕТЫ 3. Региональный отчет о результатах ОКО должен описывать результаты исследования достаточно подробно, в деталях, выполняя роль первичного источника информации об оценивании. В то же время отчет не должен перегружать читателей избыточной методической информацией. 4. Не следует предлагать специалистам в области образовательной политики сложные статистические таблицы в расчете на то, что они сами найдут в них ключевые показатели. Иллюстративная часть должна содержать простые графики и гистограммы.

26 ПОЛЕЗНЫЕ СОВЕТЫ 5. Очень важно, чтобы аналитики помогли специалистам в области образовательной политики корректно проинтерпретировать данные, касающиеся значимости контекстных факторов, которые закладывались в мониторинг. Например, уровень квалификации учителей. В ходе анализа должны быть установлены взаимосвязи между результатами выполнения теста и контекстными факторами.

27 СПАСИБО ЗА ВНИМАНИЕ!