Анализ результатов в процедурах внешней оценки качества образования в г. Москве и МРКО Московский центр качества образования октябрь 2012 год

Анализ качества инструментария (тест, инструкции, технология проведения и обработки результатов). Анализ результатов учащихся (индивидуальные), класса, параллели. Анализ результатов всей выборки тестировавшихся.

Тест конструируется из банка стандартизованных измерительных материалов. Это означает, что: А) каждое задание обладает надежными статистическими характеристиками, и можно определить среднюю сложность всего теста в целом; Б) определена содержательная валидность теста, т.е. проверяющие четко понимают усвоение каких знаний и умений они хотят проверить и для какой категории учащихся должен использоваться тест.

Стандартизация Формирование репрезентативной выборки Правильное инструктирование Выбор оптимального времени тестирования Подготовка организаторов тестирования

Малейшее отступление от требований стандартизации влечет за собой снижение достоверности эмпирических результатов выполнения теста

Методы обработки тестов Математико-статистический аппарат классической теории тестов Математико-статистическая модель измерения в рамках современной теории тестов Item Response Theory (IRT)

Статистическая обработка эмпирических данных Формирование матрицы тестовых результатов Дисперсия Стандартное отклонение Среднее отклонение Нормальная кривая распределения индивидуальных баллов

Распределение по тестовым баллам

Распределение по тестовым баллам

Характеристики тестовых заданий Какова трудность задания? Легкое оно или трудное? Можно ли с помощью данного задания отделить учащихся, владеющих данным знанием и умением, от невладеющих? Или правильный ответ выбран наугад? Как отвечают учащиеся на поставленные вопросы?Каково распределение их ответов? Разделяют ли дистракторы учащихся на группы или некоторые из них, например, неправдоподобные, не выбираются учащимися?

Трудность задания Под трудностью понимают процент учащихся, выбравших правильный ответ или выполнивших верно данное задание. Уровень сложности заданий определяется процентом выполнения Базовый - Б Повышенный - П Высокий – В

Дифференцирующая способность задания (дифференцирующая сила, дискриминативность, индекс дискриминативности, ДС) Способность задания дифференцировать учеников по результатам («отличники» - «двоечники») ДС % Показатель дискриминативности - валидность ДС может быть рассчитана как разность двух значений: трудности задания для сильной группы тестируемых, составляющих приблизительно треть от общего числа, и трудности задания для слабой группы (треть от числа тестируемых)

В тест, ориентированный на норму, отбираются задания с ДС, превышающей 30%

Точечно-бисериальная корреляция ТБК позволяет оценить валидность задания и ответить на вопрос, как связано выполнение данного задания с выполнением всего теста Валидное задание –ТБК для верного ответа 0,5 Хорошим значением ТБК считается интервал 0,3 - 0,5 Интервал 0,2 -0,3 считается критическим Отрицательный коэффициент корреляции – задание следует заменить

Отрицательная или нулевая корреляция для верного ответа может означать: случайный характер ответов учеников; некорректную формулировку задания; наличие систематических проблем в усвоении проверяемого материала, вызванных дефектами преподавания;

Анализ распределения ответов учащихся по предложенным вариантам ответа Хорошие задания должны иметь один выраженный максимум, соответствующий верному ответу. Неверные ответы учащихся должны распределяться почти одинаково между всеми предложенными неверными ответами. Ответ, который выбирают менее 5% тестируемых, является явно неверным ответом для всей группы тестируемых и его следует заменить. Наличие таких ответов в заданиях увеличивает угадывание, т.к. число ответов сокращается.

Если ответы тестируемых распределены почти равномерно между всеми предложенными дистракторами, то возможно, что тестируемые отвечали наугад. Как правило, такое задание обычно выполняет или пропускает большее число тестируемых, чем обычно. Подобное распределение ответов может говорить о следующем: Задание плохо сформулировано и тестируемые не понимают вопроса; Задание проверяет то, что не изучалось; Задание не содержит правильного ответа.

Для дистракторов ТБК должен быть отрицательным и превышающим по модулю 0,1- 0,2. Положительное или близкое к нулю значение ТБК для неверного ответа указывает на наличие проблем с данным вариантом ответа

Невыполнение задания % тестируемых, которые по каким-либо причинам не выполнили задание: пропустили его или не успели выполнить. 5% и больше – необходимо понять причину: не знают правильный ответ; нежелание выполнять данное задание (более трудоемкое, со свободным ответом); задание в конце теста и не хватило времени на его выполнение.

Обеспечение функционирования системы внутреннего мониторинга качества образования в образовательном учреждении пп. 24, п. 2 ст. 32 Закона Российской Федерации «Об образовании» от 10 июня 1992 года (ред. от )

внутренний мониторинг в образовательных учреждениях организован, но осуществляется не в системе; отсутствует анализ результатов независимых диагностических работ обучающихся.

Педагогическая диагностика - система специфической деятельности педагогов, нацеленная на выявление интересующих свойств личности с целью измерения результатов воспитания, образования и обучения (B.C. Аванесов) Контроль - выявление и оценка результатов учебной деятельности обучающихся. Под словом «оценка» имеется в виду не только конечный результат, но и процесс формирования оценки.

В понятие «диагностика» вкладывается более широкий и более глубокий смысл, чем в понятие «контроль». Контроль лишь констатирует результаты, не объясняя их происхождения. Диагностика включает в себя контроль, проверку, учет, оценивание, накопление статистических данных, их анализ, рефлексию, выявление динамики образовательных изменений и личностных приращений ученика, переопределение целей, уточнение образовательных программ, корректировку хода обучения, прогнозирование дальнейшего развития событий).

Личностные результаты мотивы деятельности, система ценностных отношений учащихся: к себе, к другим участникам обр. процесса, к образовательному процессу, объектам познания, результатам образовательной деятельности и т.д. Личностные результаты мотивы деятельности, система ценностных отношений учащихся: к себе, к другим участникам обр. процесса, к образовательному процессу, объектам познания, результатам образовательной деятельности и т.д. Метапредметные результаты – обобщенные способы деятельности, применимые как в рамках образовательного процесса, так и в реальных жизненных ситуациях Предметные результаты – усвоение конкретных элементов социального опыта, изучаемого в рамках отдельных учебных предметов Требования к результатам освоения образовательных программ Система оценивания Результаты образования в новом стандарте Основной результат – освоение обобщенных способов действий (компетенций), достижение новых уровней развития личности (компетентностей)

Основная педагогическая задача – создание и организация условий, инициирующих детское действие Как учить? обновление средств обучения Ради чего учить?ценностиобразования Чемуучить?обновлениесодержания Основное средство в руках учителя – УЧЕБНАЯ СИТУАЦИЯ и УЧЕБНОЕ ЗАДАНИЕ Вектор смещения акцентов нового стандарта Основной результат – развитие личности ребенка на основе учебной деятельности Реализация деятельностного подхода – важнейшая особенность нового стандарта

Формы представления результатов тестирования предназначены для отображения в компактном виде некоторого набора параметров, которые характеризуют соответствующие результаты. В широком смысле под формой представления можно понимать текстовый документ, содержащий данные о результатах тестирования.

Степень детализации информации в формах зависит, в частности, от уровня адресата, который получает соответствующую форму. Наиболее распространенной формой на уровне школы (класса) является протокол тестирования, в который заносят полученные тестируемым баллы за каждое задание и значения итоговых баллов. В случае использования заданий с выбором ответа дополнительно указывается выбранный вариант ответа. На более высоком уровне (орган управления образованием) подобная информация бессмысленна и не представляет реальной ценности.

Психологические аспекты восприятия данных в формах. Готовность воспринимать данные из форм зачастую связана с уровнем тех значений, которые содержатся в формах и напрямую относятся к адресату. Если уровень значений, относящихся к адресату, не совпадает с уровнем ожиданий получателя форм, то готовность адекватно воспринимать данные может отсутствовать. В этом случае у адресата могут возникать претензии, как к форме, так и к другим аспектам тестирования: заданиям, процедуре, методике оценивания.

Пояснения к формам В форме нет фамилий учащихся, но есть номера по списку класса Номера в конце списка, начинающиеся с цифры 9 присвоены ученикам, которые не указали в бланке тестирования номер по списку класса Вариант выполненной работы (указан учеником в бланке тестирования) Номера заданий в тесте (1-14(18)) Цифра (1, 2, 3 или 4) со знаком «+» или «–» - это номер выбранного учеником ответа на задание с выбором ответа: знак «+» обозначает правильный ответ (один балл), знак «–» – неправильный ответ (ноль баллов), символ «N - » - отсутствие ответа на задание (ноль баллов), символы «1», «0» без знаков «+» или «–» означают баллы за выполнение заданий с кратким ответом (типа В)

Пояснения к формам Тестовый балл (сумма баллов, полученных за выполнение всех заданий теста). % выполнения всех заданий теста (определяется отношением баллов, полученных учащимся, к максимальному количеству баллов за тест). Оценка ученика по результатам выполнения теста (см. шкалу соответствия оценок тестовым баллам). Итоговая оценка ученика по предмету за предыдущий класс (если школа не представила данные, то позиция остается пустой) Фоном выделены оценка за тест и итоговая оценка, если их расхождение составляет 2 или 3 балла. Рейтинг ученика в классе (определяется по проценту выполнения заданий теста; одно и то же место в рейтинге имеют ученики, с одинаковым процентом выполнения).

Внизу под таблицей приведены средние по классу значения. Надпись: «Условия проведения: без наблюдателя» означает, что при выполнении работы учащимися данного класса наблюдатель не присутствовал в классе. Надпись: «Условия проведения: в присутствии наблюдателя» означает, что учащиеся данного класса выполняли работу в присутствии наблюдателя.

Шкала выставления оценок за тест в соответствии с диапазоном тестовых баллов Сентябрь 2012 год

Параметры содержательного анализа Количество верно выполненных заданий учащимся; Количество баллов, набранных учащимся за выполнение заданий; Рейтинг; Количество верных ответов при решении каждого задания; Количество допущенных ошибок при выполнении каждого задания; Количество учащихся, не приступивших к выполнению задания; Количественные показатели (оценки, определяющие уровень подготовки учащихся); Соответствие внешней оценки, полученной за выполнение проверочной работы, школьной оценке по предмету.

Проблемный анализ 1. Сначала выясняем и называем, какие результаты нас не удовлетворяют, мы хотим и можем их изменить. 2. Формулируем, каких результатов мы хотим и можем достичь. 3. Сравнивая желаемые и имеющиеся результаты, формулируем проблемы достижения желаемого.

Проблемный анализ 4. Выясняем, из-за каких недостатков образовательного процесса возникли сформулированные в шаге 3 проблемы. 5. Выясняем и определяем, из-за недостатка каких условий (научно-методических, кадровых, финансовых, материально- технических, нормативно-правовых и др.) возникли проблемы образовательного процесса, выявленные в шаге Методом экспертной оценки ранжируем выявленные (в шагах 3, 4, 5) проблемы по значимости.

Рекомендации для школ Данные по результатам стартовой диагностики знаний позволяют оценить прочность знаний по предмету каждого учащегося, уровень и структуру знаний класса в целом, результат класса относительно среднего результата по городу (региону), а также на основе анализа определить направления совершенствования образовательного процесса в школе.

Рекомендации для школ Организовать работу учителей по анализу результатов диагностики Обсудить результаты диагностики с учителями-предметниками и учителями начальной школы. Сравнить результаты классов (если тестирование проводилось в нескольких классах одной параллели), определить причины расхождения результатов, приняв во внимание условие проведения: «без наблюдателя» или «в присутствии наблюдателя».

Рекомендации для школ Выявить причины низких результатов (на 10% и более, ниже, чем по городу) и недостаточных (для данного класса) результатов, используя форму «Структура знаний учащихся». Проанализировать причины расхождения оценок учащихся за тест и школьных оценок. Составить совместно с учителями план коррекционной работы по устранению пробелов в знаниях учащихся. Включить в план ВШК на текущий учебный год тематический контроль по направлению: «Коррекционная работа по устранению пробелов в знаниях учащихся ___ класса по _____ (предмету, следующим темам)».

Интерпретация результатов Показатели: средний процент выполнения теста; коэффициент результативности; доля учащихся, не достигших границы минимального (достаточного уровня, получивших оценку «2»). Сравнение со средними результатами по городу с учетом контингента обучающихся в каждом классе.

Код Характеристика результата Критерии 1 Критический результат 40% и более учащихся продемонстрировали недостаточный уровень подготовки по предмету 2Низкий результат Доля учащихся с недостаточным уровнем подготовки больше (СП+5%), но меньше 40% 3 Средний результат Доля учащихся с недостаточным уровнем подготовки меньше или равна (СП+5%), но больше 5% 4 Результат выше среднего Доля учащихся с недостаточным уровнем подготовки не превышает 5% 5 Высокий результат Нет учащихся, не достигших достаточного уровня подготовки по предмету СП – средний процент (по городу) учащихся, не достигших достаточного уровня подготовки по предмету.

Показатель учебных достижений класса: 1.16 Определяется отношением среднего процента выполнения теста учащимися данного класса к среднему проценту выполнения теста учащимися всей выборки (915 школ)

Низкий результат - 40% и более учащихся продемонстрировали недостаточный уровень подготовки по предмету Высокий результат – средний процент выполнения теста учащимися класса превышает на 10% средний результат по городу

Что конкретно должен уметь каждый учитель Использовать широкий спектр средств оценивания, мониторинга и фиксации результатов. Оценивать текущий уровень учащегося с тем, чтобы поставить перед ним задачи, содержащие вызов. Давать своевременный, точный и конструктивный отчет о результатах деятельности учащегося, фиксируя внимание на его прогрессе и проблемных зонах. Поддерживать учащихся и организовывать их рефлексию по поводу своего обучения и помогать им сформулировать их текущие образовательные потребности. Оценивать ход образовательного процесса. Оценивать адекватность выбранных методов оценивания с точки зрения влияния на образовательный процесс.

Учитель должен уметь выделять проверяемые элементы содержания (знать, уметь, понимать) в каждом задании, включенном в проверочную работу; определять критерии оценивания каждого задания; определять типы заданий; определять уровень сложности задачи в соответствии с уровнями усвоения материала; определять критерии выставления, как неудовлетворительной оценки, так и положительной; уметь выполнять содержательный анализ выполненных работ, применять результаты данного анализа для планирования и проведения соответствующей коррекционной работы.

Обратная связь непрерывная в ходе изложения нового материала дискретная по конкретным этапам формирования понятия; тематическая после изучения каждого вполне завершенного блока информации (главы, раздела, темы); итоговая по всему курсу изученного предмета

Алгоритм подбора заданий для ликвидации пробелов в подготовке учащихся Разбиение задания, в котором допущены ошибки, на дидактические единицы(ДЕ); Соотнесение каждой ДЕ с одним из трех уровней усвоения материала; Составление системы заданий по каждой ДЕ, с опорой на один из методов отбора ключевых задач; Разбиение отобранных задач на уровни планируемых результатов обучения; Разработка раздаточного дидактического материала на основе отобранных заданий с целью коррекции знаний учащихся.

Принцип последовательности - упражнения располагаются в порядке возрастания сложности: от менее сложного к более сложному; от более известного к менее известному. При переходе от одного упражнения к другому добавлять шаги решения следует постепенно, по одному. Принцип прочности знаний – проявляется в наличии однотипных упражнений, в некоторых случаях необходимо более 100 однотипных упражнений. Принципы коррекционной программы

Принцип систематичности – наличие упражнений трех видов: 1) на изучение отдельных фактов изолировано от ранее изученного материала; 2) на связывание нового факта с ранее изученным, позволяющих рассматривать новый факт как элемент других систем; 3) на систематизацию изученного материала. Принцип сознательности – выполнение действий на первичное закрепление следует проводить без пропусков отдельных операций, которые должны предшествовать действиям в уме.

Коррекционная работа Педагогическая коррекция Устранение пробелов в знаниях Усвоение отдельных учебных предметов или их разделов Психологическая коррекция Устранение недостатков мыслительной деятельности Развитие мыслительных операций