Итоги апробации мониторинговых процедур оценки качества основного общего образования часть 1 А.Б. Воронцов, директор НОУ «Открытый институт «Развивающее образование», эксперт АНО «Институт проблем образовательной политики «Эврика 8 апреля 2013 года, г. Краснодар

1 вопрос – Нужны ли бояться мониторингов?

Общероссийская система оценки качества общего образования – 2015 год «Тест достижений» – оценочная процедура (ретроспективная оценка), которая проводится по завершению второй и третьей ступени общего образования (ГИА,ЕГЭ). Цель – оценить выполнение ФГОС ОО. Процедура носит нормативный характер. Содержание КИМов не может выходить за рамки требований ФГОС. Заканчивается оценочная процедура обязательной аттестацией каждого ученика с помощью балльной шкалы оценивания. Проводится на федерально-региональном уровне. «Прогностический тест (тест готовности)» - оценочная процедура (прогностическая оценка), которая проводится на образовательных переходах с одной ступени на другую (1,5,10 классы), а также в 7 классе (переход от младшего подростка (5-5 классы) к подростковому возрасту (7-9 классы). Главная цель – определить уровень готовности учащихся к обучению на следующей ступени. Оценивается не работа в целом, а определяется уровень выполнения группы заданий на определенные умения. Используется исключительно критериальная шкала оценивания. В КИМах используется как знакомый, так и новый для учащихся учебный материал. Процедура предполагает право выбора учащимися заданий для их выполнения. Результаты работы необходимы для проектирования «зоны ближайшего развития учащихся». Проводится в рамках региональных мониторинговых исследований.

Общероссийская система оценки качества общего образования – 2015 год «Тест успешности (прогресса)» - оценочная процедура (ретроспективная оценка), которая проводится по итогам учебного года и относится к промежуточной аттестации школьников. Основная цель процедуры – фиксация индивидуального прогресса у учащихся в предметных образовательных результатах. КИМы носят уровневый характер. Оценивание учащихся производится отдельно по каждому из трех уровней освоения предметных способов/средств действий (1 уровень – формальный (репродуктивный); 2 уровень – рефлексивный; 3 уровень – функциональный). На основе полученных данных строятся индивидуальные профили учащихся, а также класса, школы в целом. Главное в такой процедуре – сравнение (дельта) с прошлыми результатами подобной работы. КИМы разрабатываются под ключевые (ядерные) понятия курса (предмета). Данная оценочная процедура проводится на уровне образовательного учреждения силами администрации (школьной лаборатории оценки качества образования).

ФУНКЦИОНАЛЬНЫЙ УРОВЕНЬ (ФОРМИРОВАНИЕ НОВОГО СПОСОБА ДЕЙСТВИЯ) РЕФЛЕКСИВНЫЙ УРОВЕНЬ (ТРАНСФОРМАЦИЯ ИЗВЕСТНОГО СПОСОБА ДЕЙСТВИЯ) РЕПРОДУКТИВНЫЙ УРОВЕНЬ (ДЕЙСТВИЯ ПО ОБРАЗЦУ) ПРОЙДЕННАЯ ЧАСТЬ УЧЕБНОЙ ПРОГРАММЫ ДИАГНОСТИКА МЕРЫ ПРИСВОЕНИЯ КУЛЬТУРНЫХ СРЕДСТВ/СПОСОБОВ ДЕЙСТВИЯ В ОБРАЗОВАТЕЛЬНОЙ МОДЕЛИ «КУЛЬТУРНОГО РАЗВИТИЯ» ОСОБЕННОСТИ ИНСТРУМЕНТА Уровни учебных способов действий

Результаты диагностики РЕШАЕМОСТЬ ЗАДАЧ РАЗНОГО УРОВНЯ Предметность тестирования Уровень 123 Математика70,849,625,4 Естествознание44,726,319,7 Русский язык68,647,421,1 Чтение художественного текста73,544,524,7 Чтение информационного текста35,927,014,4 УСРЕДНЕННЫЕ ПРОФИЛИ УСПЕШНОСТИ ПО РАЗНЫМ ПРЕДМЕТАМ

При более высокой температуре вода испаряется быстрее. В четыре одинаковых стакана налили поровну воды разной температуры (температуру поддерживали постоянной).На рисунке показано, сколько воды осталось в двух стаканах через час Отметь примерный уровень воды в остальных стаканах. Пример по естествознанию (1-ый уровень) уровень воды

Три ученика выясняли, зависит ли скорость испарения воды от наличия или отсутствия ветра. Для опыта они взяли одинаковые блюдца и доверху наполнили водой при комнатной температуре. Одно блюдце оставили для сравнения. oБоря - около своего блюдца включил вентилятор. oВера - включила фен и направила на свое блюдце поток горячего воздуха. oГаля - поставила свое блюдце на сквозняке. Отметь ДВУХ учеников, которые поставили опыт ПРАВИЛЬНО Пример по естествознанию (2-ой уровень)

Ученики написали отчет о своем исследовании испарения воды. Отметь ДВА утверждения, которые НЕЛЬЗЯ сделать на основании этого отчета? oПри нагревании вода испаряется быстрее oПри увеличении площади поверхности вода испаряется быстрее oВода не испаряется при 20 градусах oПри 50 градусах вода будет испаряться быстрее, чем при 30 Пример по естествознанию (3-ий уровень) Утром мы налили поровну воды в три одинаковых сосуда. Температуру в каждом сосуде поддерживали постоянной. Вечером воды оказалось не поровну: ОТЧЕТ

Общероссийская система оценки качества общего образования – 2015 год «Диагностический тест» «Диагностический тест» – оценочная процедура (рефлексивная оценка), которая проводится в ходе изучения того или иного учебного предмета и напрямую связана с формирующим оцениванием в классе. Цель подобных процедур – проведение «точечной» диагностики освоения основных предметных и метапредметных способов/средств действий учащимися для организации адресной коррекционной индивидуально- групповой работы. КИМы носят операциональный характер. Для оценки результатов подобных текстов может использоваться только бинарная шкала оценивания. Данная оценочная процедура используется исключительно учителями и учащимися ОУ.

Группа показателей: УЧЕБНАЯ ГРАМОТНОСТЬ Показатель: Контрольно-оценочная самостоятельность Индикатор (диагностическое проявление): определение критериев для оценки результатов действия Диагностическое задание: «Предложи критерии, по которым ты, если бы был учителем, оценил выполнение задания своими учениками: Задание: Определи, какое число больше: или » Индикатор (диагностическое проявление): самооценка и оценка действий другого человека на основе заданных критериев (параметров). Диагностическое задание: Выполни предыдущее задание сам и оцени свое решение по этим критериям. Пример метапредметной диагностики

Общероссийская система оценки качества общего образования – 2015 год «Экспертная оценка образовательного события» - оценочная процедура (экспертная оценка), которая проводится за пределами класса, урока и носит, как правило, межвозрастной и межпредметный характер. Примером таких событий можно назвать проектные, исследовательские и художественно-творческие задачи, которые решаются на протяжении продолжительного времени в малой группе. Главная цель такой процедуры – оценить формирование у учащихся тех метапредметных и личностных образовательных результатов, которые не в полной мере могут быть оценены с помощью измерений. Оценка производится экспертами с помощью встроенного наблюдения. Оценочная процедура может использоваться как образовательным учреждением самостоятельно, так и может быть использована при аккредитации ОУ, а также в государственной итоговой аттестации 9,11 класса.

Проектная задача как инструмент оценки коммуникативной и информационной грамотности Проектная задача - система или набор заданий, целенаправленно стимулирующих систему детских действий, направленных на получение еще никогда не существовавшего в практике ребенка результата «продукта», в ходе решения которой происходит качественное изменение группы детей

Решение межпредметных разновозрастных задач работа экспертов в группах

финальный день решения проектной задачи презентация результата

экспертные листы наблюдения за действиями детской группы, 3 день сводная таблица вклада каждого ребенка группы в общий результат проектной задачи

экспертный лист сформированность метапредметных образовательных результатов участниками группы

Общероссийская система оценки качества общего образования – 2015 год «Оценка внеучебных достижений» – оценочная процедура (публичная оценка), которая может проводиться, как минимум, в двух формах: портфолио и публичное представление своих достижений (соревнование, спектакль, конференция, выставка и т.п.). Основная цель этой процедуры – сделать внеучебные достижения школьников такими же значимыми для всех, как и учебные достижения. Предлагаемые формы этой оцееночной процедуры позволят каждому учащемуся продемонстрировать то, что он сам считает достойным публичной оценки. Такая оценочная процедура позволяет «уравнять» в сознании школьника значимость его учебных и внеучебных достижений. На этапе 9,11 класса в перспективе данная оценочная процедура может стать обязательной и включенной в государственную итоговую аттестацию.

Общероссийская система оценки качества общего образования – 2015 год «Мониторинговые исследования» – оценочная процедура, которая связана с наблюдением за состоянием образования (результатов, процесса, условий) по определенным постоянно действующим параметрам в определенное время. Основная цель данной процедуры – оценивать текущее состояние системы образования (ее отдельных элементов) для определения последующих шагов по коррекции тех или иных составных частей системы образования. В мониторинговых исследованиях персонально ученик не оценивается. Оценивание происходит пор специально разработанным критериям и параметрам. Полученные результаты обязательно сравниваются с предыдущими подобными замерами и на основе делаются определенные выводы и рекомендации по состоянию исследуемого объекта. Данная оценочная процедура может проводиться на любом уровне управления образованием. Никаких последствий для участников исследования не должно быть.

2 вопрос Мартовский мониторинг: замысел, реализация и результат

Эпиграф «Смысл тестирования не понятен. Современные 4-5-классники такими умениями не обладают (если им не подскажет учитель), да и учащиеся, занимающиеся по новым ФГОСам вряд ли будут уметь. Читать диаграммы, составлять инструкции, формулировать гипотезы и т.п. возможно только при наличии данного блока заданий в учебном курсе. На одном-двух заданиях не научишь. Данный процесс должен идти системно, возможно в рамках какого-то интегрированного курса». (Голос народа)

2.1.Обоснование необходимости данного мониторинга ОБЩИЕ УЧЕБНЫЕ УМЕНИЯ, НАВЫКИ И СПОСОБЫ ДЕЯТЕЛЬНОСТИ (2004) Познавательная деятельность Наблюдение объектов окружающего мира; обнаружение изменений, происходящих с объектом (по результатам наблюдений, опытов, работы с информацией) Выявление с помощью сравнения отдельных признаков, характерных для сопоставляемых предметов; Объединение предметов по общему признаку Проведение простейших измерений разными способами. Работа с простейшими готовыми предметными, знаковыми, графическими моделями для описания свойств и качеств изучаемых объектов. Умение решать творческие задачи на уровне комбинаций, импровизаций: самостоятельно составлять план действий (замысел), проявлять оригинальность при решении творческой задачи, создавать творческие работы (сообщения, небольшие сочинения, графические работы), разыгрывать воображаемые ситуации. Речевая деятельность и работа с информацией Работа с учебными, художественными, научно-популярными текстами. Построение монологического высказывания (по предложенной теме, по заданному вопросу); участие в диалоге (постановка вопросов, построение ответа). Использование простейших логических выражений типа: «…и/или…», «если…,то…», «не только, но и…». Элементарное обоснование высказанного суждения. Овладение первоначальными умениями передачи, поиска, преобразования, хранения информации, использования компьютера; поиск (проверка) необходимой информации в словарях, каталоге библиотеки. Представление материала в табличном виде, с помощью диаграмм и графиков. Организация деятельности Выполнение инструкций, точное следование образцу и простейшим алгоритмам. Самостоятельное установление последовательности действий для решения учебной задачи (ответ на вопросы «Зачем и как это делать?», «Что и как нужно делать, чтобы достичь цели?»). Определение способов контроля и оценки деятельности (ответ на вопросы «Такой ли получен результат?», «Правильно ли это делается?»); определение причин возникающих трудностей, путей их устранения; предвидение трудностей (ответ на вопрос «Какие трудности могут возникнуть и почему?»), нахождение ошибок в работе и их исправление. Учебное сотрудничество: умение договариваться, распределять работу, оценивать свой вклад и общий результат деятельности.

Закономерный вопрос: почему существующие с 2004 года так называемые теперь «метапредметные результаты», не нашли своего места ни в начальной, ни в основной школах? Почему мы до сих пор их боимся и не формируем их у наших детей?

…Надо учиться на ошибках начальной школы ФГОС НОО был запущен без описаний образовательных результатов, без новых контрольно-измерительных материалов, без методик по способам и формам современной системы оценки, без существенных изменений в организации ОП (учебного плана и расписания учебных занятий). 72 (144) часа на всю систему повышения квалификации учителя НШ: деятельностный подход, система оценивания, ИКТ-компетентность, современные педагогические технологии, внеурочная деятельность и т.п. Поэтому: годы до введения в массовую практику ФГОС ООО необходимо: 1) Разобраться с образовательными результатами (описать их) для ОШ; 2) Дать в руки педагогам другие КИМы и другие оценочные процедуры; 3) Вооружить педагогов методикой формирующего оценивания (акцент сделать на построении школьной системы оценки качества образования); 4) Перестроить образовательный процесс в сторону его индивидуализации

…нужно было обозначить реальный «старт» Кто такие современные 4-5-классники? Что они могут, каковы их возможности? С какими реальными результатами они переходят на следующую ступень образования? Почему происходит резкий спад в обучении именно в 5-6-х классах? Именно на ответы этих вопросов и был направлен «мартовский мониторинг». Мы хотели зафиксировать то, что есть сейчас, чтобы через два года, когда будут младшие школьники переступать порог основной школы, имея за спиной результаты ФГОС НОО, вновь провести подобный мониторинг в 5-х классах, и провести еще один «срез» у нынешних четвероклассников, которые к тому времени перейдут в 7 класс.

…необходимо было апробировать этот инструмент, оценочную процедуру и электронную среду мониторинга К сожалению, проект устроен так, что на клиническую апробацию времени не было и поэтому мы вынуждены были совместить клиническую с широкой апробацией самой процедуры и инструмента. Именно поэтому проведение и проверка работ и была отдана школе, чтобы школа сама могла нам сказать, что в предложенной процедуре сработала, а что нет. Какие задания некорректны, ошибочны и от них надо отказаться, заменить. Отладить электронную среду. Итог: к сентябрю 2013 года и контрольно-измерительные инструменты, и оценочная процедура и электронная среда должны быть готовы к полноценному запуску «прогностического теста – теста готовности» в массовую практику. В добровольном порядке предлагаем принять участие в повторном мониторинге на второй-третьей неделе сентября 2013 года с использованием электронной среды данного мониторинга.

2.2. Основные особенности «прогностического теста» Цель – определение готовности обучающихся для получения образования на следующей ступени. Что значит «готов» к обучению? -освоение культурных предметных способов/средств действия; -владение основами учебной, информационной и коммуникативной грамотностей. Отсюда: три предметные проверочные работы (русский, математика и окружающий мир) и одна метапредметная проверочная работа. Работа носит вариативный характер, учащиеся имеют право выбора как учебного предмета, так и кол-во заданий, которые они хотят и могут выполнить, а также их уровень (базовый или повышенный), имеют право сформулировать вопросы, оставить свои комментарии около тех заданий, в которых возникли трудности, сомнения. В работе присутствуют задания двух типов: актуального уровня (на изученный в начальной школе материал) и «зону ближайшего развития» (на новый материал) Работа проводится на второй-третьей недели сентября пятого класса. Учащиеся не оцениваются общим баллом. Оцениваются блоки заданий, направленных на сформированность тех или иных знаний и умений, а также особо уделяется внимание экспертной оценки вопросов и комментариев, а также оценки выбора заданий и предметов.

2.3. Комплексная метапредметная проверочная работа 1.Выделены ключевые умения, необходимые для «старта» в основной школе: Основы информационной грамотности: -умение работать с инструкцией, по инструкции, составлять инструкцию; -умение работать со знаково-символическими средствами (моделями); -умение работать с таблицами, графиками и диаграммами; -Умение выдвигать гипотезы и находить им доказательства. Основы коммуникативной грамотности: -позиционность (работа с разными точками зрения, их сопоставление и выдвижение и обоснование собственной точки зрения). Основы учебной грамотности: -умение учиться: рефлексивные умения (определять границу знания/незнания); -умение учиться: поисковые умения (поиск необходимой информации); -контрольно-оценочные действия учащихся; -сравнение, классификация, анализ и обобщение данных

Соотношение учебных предметов и видов метапредметных результатов в комплексной проверочной работе Учебные предметы% от общего числа заданий Виды результатов% от общего числа заданий Математика50Учебная грамотность 50 Окружающий мир30Информационная грамотность 40 Русский язык20Коммуникативная грамотность 10

Количество участников мониторинга (март 2013) (классов)

Средние показатели по РФ (математика, отдельные умения) 1.Сравнение величин 2.Действия в соответствии с текстом 3.Выявление закономерности 4.Работа с моделями 5.Измерение площади фигуры 6.Использование новой информации. 7.Решение задач на равномерные процессы

Средние показатели по РФ (русский язык, отдельные умения) 1.Способы проверки изученных орфограмм 2. Определение типов орфограмм 3. Анализ смысловых и грамматических отношений между словами в предложении 4.Редактирование текстов 5. Определение частей речи 6. Грамматические признаки слов 7. Конструирование текста

Средние показатели по РФ (окружающий мир, отдельные умения) 1.Понимание метода экспериментирования 2. Работа с научно-популярным текстом 3. Работа со схемами 4. Письменный текст, рассуждения 5. Восстановление последовательности событий 6. Использование графиков, диаграмм 7. Моделирование

Средние показатели по РФ (метапредметные результаты, отдельные умения)

Средние показатели по РФ

Возможные типы заданий для оценки основ учебной грамотности 1) Задания с приведенными ошибочными решениями (способы решения должны быть подробно показаны). Ошибочные решения должны быть двух типов: а) ответ правильный, но способ решения неправильный; б) способ правильный, но ответ неправильный. Ученик должен найти ошибки и указать их причины; 2) Задания, в которых учащийся должен самостоятельно выдвинуть критерии и оценить свою работу по этим критериям; 3) Задания с готовым решением и выделением нескольких критериев. Учащимся необходимо оценивать правильность выполнения задания по этим критериям; 4) Дано нескольких заданий. Ученик должен оценить, какие он может решить, а какие – нет (задание на выявление границы применимости того или иного способа действия); 5) Дано задание и небольшой «справочник» (текст, не входящий непосредственно в задание, возможно, избыточный). При решении учащийся должен использовать справочник.(Задание должно быть таким, чтобы выполнить его без справочника учащийся не мог); 6) Дано набор задач, одни из которых решить можно, а другие решить невозможно, так как не хватает каких-либо данных. Учащимся необходимо найти такие задачи и сформулировать запрос на недостающие данные; 7) Дано задание, его решение, содержащее ошибку, и набор карточек с дополнительными заданиями (без решений). Нужно выбрать ту карточку, которая поможет разобраться с ошибкой.

Возможные типы заданий для оценки основ информационной грамотности Для информационной грамотности используются различные прежде всего тексты, различающемся по формату (сплошные, несплошные, смешанные и составные) и по описанию (повествование, рассуждение, толкование, инструкция, переговоры) Для разработки заданий использовали три основных действия: найти и извлечь (сообщение или информацию), интегрировать и интерпретировать (сообщение), или – по-русски: связывать и толковать, осмыслить и оценить (сообщение). 1) найти несколько единиц информации, не сообщенной в явном виде и отвечающей нескольким критериям. Соединять вербальную и графическую информацию 2) Определить основную мысль текста, понять отношения отдельных сообщений текста, построить или применить простые понятия, истолковать значение небольшой части текста. Искомая информация не выделена в тексте специально, но для ее понимания требуются простые мыслительные операции

Возможные типы заданий для оценки основ информационной грамотности 3) Использование для заданий составных текстов ( письменный текст, таблица, график или диаграмма) в каждом из фрагмента текста сосредоточена часть информации. Для того, что бы выполнить задание необходимо сопоставить данную информацию; 4) Точное выполнение инструкции для решения задачи или перевод текста-повествования в текст-инструкцию; 5) Использование моделей (схем, чертежей, формул) для решения задачи или перевод задачи с одного языка моделирования на другой; 6) Извлечение из текста этапов эксперимента: гипотезы, способов ее проверки, формулировки выводов. Нахождение ошибок в проведении эксперимента; 7) Установление причинно-следственных связей между единицами информации текста, заданного в разной форме (таблица, график, диаграмма) при условии, что в тексте есть противоречия

Какой шаг в развитии должны сделать дети при переходе из начальной школы в основную? 4-6 классы : должен произойти качественный переход в становлении важнейшего компонента учебной самостоятельности: заканчивается обучение чтению (технике чтения), начинается чтение для обучения – использование письменных текстов как основного ресурса самообразования (Г.А.Цукерман). «Функционально грамотный человек – это человек, который способен использовать все постоянно приобретаемые в течение жизни знания, умения и навыки для решения максимально широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений» (А.А.Леонтьев)

Возможные типы заданий для оценки основ коммуникативной грамотности Не все аспекты коммуникативной грамотности можно оценить с помощью измерителей, но все же… 1) Задание на позиционность: в тексте высказано одна-две, три точки зрения. Необходимо отнестись к этим точкам зрения или одну из них поддержать, выдвинув свои аргументы в поддержку той или иной точки зрения, либо не согласиться ни с одной и обосновать свою точку зрения (письменная дискуссия); 2) Задание на отношение к другому тексту (письменный от отзыв, рецензия); 3) Задание на совпадение и расхождение позиций, выявление сути разногласий, сравнительная оценка предложенных идей в ходе решения конкретно-практической задачи; 4) Задание для публичного выступления на заданную тему (краткий текст)