Педагогические измерения, основные компоненты и уровни. Виды измерителей. Педагогические тесты, контрольные измерительные материалы и традиционные оценочные средства Челышкова Марина Борисовна Директор Центра качества образования Государственного университета управления Доктор педагогических наук, профессор

Определение измерений Измерение - это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами (С. Стивенс, 1946 г)

Современная трактовка - педагогического измерения Педагогическое измерение - конструирование функции, осуществляющей изоморфное отображение некоторой эмпирической структуры в соответствующим образом подобранную числовую структуру, представляющую собой шкалу оценок качества учебных достижений или других конструктов, являющихся целью измерения.

Процедура измерения Процедура измерения - это совокупность эмпирических операций, позволяющих установить оценки измеряемых характеристик и представить их в количественной или качественной шкале

Компоненты процесса педагогических измерений выбор предмета измерения, под которым понимается одна или несколько латентных характеристик объектов (выбор переменных измерения и их числа)

Компоненты процесса педагогических измерений выбор эмпирических референтов (наблюдаемых характеристик объектов), замещающих латентные переменные

Компоненты процесса педагогических измерений выбор измерительных процедур конструирование и использование измерительных инструментов

Компоненты процесса педагогических измерений выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях)

Компоненты процесса педагогических измерений построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным процедурам и правилам Обработка данных анализ и интерпретация результатов измерения

В самом обобщенном виде под тестом можно понимать совокупность контрольных заданий в стандартизированной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих надежные и валидные оценки концептуально выделенной переменной (переменных) измерения

Шкала - это средство фиксации результатов измерения определенных свойств эмпирических объектов путем упорядочения результатов в определенную числовую систему

Абсолютная объективность - это недостижимая характеристика результатов любых, в том числе и педагогических, измерений в силу существования ошибочных компонентов и различных факторов, случайного и систематического характера, которые неизбежно влияют на результаты любого измерения.

Процедурная объективность - это независимость результатов тестирования от условий его проведения и субъективных оценочных суждений педагога, использующего тест

Истинный балл это - не зависящая от средств измерения константа учащегося, характеризующая оцениваемое свойство испытуемого в момент измерения с нулевой ошибкой измерения и меняющаяся в процессе обучения

Операционализация - это придание оцениваемым латентным характеристикам подготовленности учащихся формы, удобной для фиксации определенными правилами измерения.

Связь между латентной и наблюдаемой переменными

Геометрическая интерпретация результата тестовых измерений

Соотношение между трудностью заданий и подготовленностью учащихся

Иллюстрация связи переменных при одномерном измерении

Измерительная модель, иллюстрирующая связь между конструктом и заданиями теста (одномерный случай)

Четыре уровня измерений Шкалы качественные (шкала наименований или классификаций, порядковая шкала) и количественные (интервальная шкала и шкала отношений)

Номинальная шкала Шкала наименований (номинальная шкала), используемая для представления результатов классификации эмпирических объектов измерения, свойства которых проявляются только на уровне оценивания их эквивалентности

Шкала порядка Если отнесение объектов к классам основано не только на отношении эквивалентности, но и учитывает возрастание или убывание степени проявления измеряемого свойства, то получаемая шкала носит название шкалы порядка.

Интервальная шкала Интервальная шкала используется для упорядочения объектов, свойства которых удовлетворяют отношениям эквивалентности, порядка и аддитивности. В ней определено расстояние между объектами и предусмотрена общая для всех объектов единица измерения, а началом отсчета является условно выбранная нулевая точка.

Шкала отношений Шкала отношений отображает свойства объектов, удовлетворяющие отношениям эквивалентности, порядка, аддитивности и пропорциональности. Последнее свойство появляется благодаря существованию в шкале отношений однозначного естественно определенного критерия нулевого проявления измеряемого свойства – абсолютного нуля.

Первая схема реализации бипарадигмальных методов измерении

Вторая схема реализации бипарадигмальных методов измерении

Последовательный дизайн реализации бипарадигмальных методов в измерении

Параллельный дизайн реализации смешанных методов в измерении

ВИДЫ ПЕДАГОГИЧЕСКИХ ТЕСТОВ, ИХ СТАНДАРТИЗАЦИЯ. ТРЕБОВАНИЯ К КАЧЕСТВУ ТЕСТОВ, ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ. СОДЕРЖАНИЕ ТЕСТОВ И ФОРМА ЗАДАНИЙ Челышкова Марина Борисовна Директор Центра качества образования Государственного университета управления Доктор педагогических наук, профессор

Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых - релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых учащихся

Процесс определения норм называется стандартизацией теста. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой является обязательным моментом при определении норм теста.

Стратификация выборки Расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности

К стандартизованному тесту необходимо приложить: нормы выполнения теста, которые определяются на выборке стандартизации; объем выборки стандартизации, основания для ее стратификации и временной период ее использования; необработанные показатели выполнения теста для каждой выборки стандартизации.

Распределение заданий по трудности в нормативно-ориентированном тесте

Распределение заданий по трудности в критериально-ориентированном тесте

Общая классификация задач, решаемых с помощью тестов 1. задачи, стоящие перед учителем на входе в обучение (входной контроль); 2. текущие задачи (текущий контроль); 3. задачи, соответствующие концу определенного периода учеб­ного процесса (итоговый контроль).

Упрощенная модель функций входного тестирования в учебном процессе, соотнесенная с функциями педагога

Модель функций тестирования в текущем контроле

Модель функций итогового тестирования

Классификация видов педагогических тестов

Предтестовое задание это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду специфических требований и обеспечивают однозначность оценок результатов испытуемых в выбранной шкале

Предтестовое задание превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на эмпирическую проверку качества содержания, формы и системообразующих свойств

Итоговый нормативно- ориентированный тест это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.

Итоговый критериально- ориентированный тест это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статистически обоснованным стандартам или критериям выполнения

Надежность Надежностью (reliability) называется характеристика точности тестовых результатов и их устойчивости к действию случайных факторов.

Ошибка измерения Ошибка определяется как статистическая величина, отражающая степень отклонения наблюдаемого балла от истинного балла учащегося Ошибки измерения происходят по различным как контролируемым, так и неконтролируемым причинам и дифференцируются в зависимости от источника происхождения на систематические и случайные

Факторы, влияющие на надежность гомогенного теста 1. Если при компоновке теста отбирать задания, имеющие наибольшую корреляцию с другими заданиями теста, то тест будет иметь высокую надежность и обеспечит низкую погрешность измерения. 2. Второй фактор надежность теста – его длина. Надежность повышается с увеличением длины теста

Валидность Валидность – это характеристика адекватности результатов измерения поставленной цели их проведения

Спецификация теста

Классификация предтестовых заданий 1. Задания с выбором, в которых учащиеся выбирают правильный ответ из данного набора ответов; 2. Задания с конструируемым ответом, требующие при выполнении от ученика самостоятельного получения ответов; 3. Задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств; 4. Задания на установление правильной последовательности, в которых от учащегося требуется указать порядок элементов, действий или процессов, перечисленных педагогом.

Общие требования к предтестовым заданиям и процедурам их применения Каждое предтестовое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста; Каждое предтестовое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом); В предтестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

Общие требования к предтестовым заданиям и процедурам их применения Для предтестовых заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте; Для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизированными процедурами подсчета сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если: Заранее разработанная система подсчета баллов применяется ко всем ответам учеников без исключения; В тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;

Процесс тестовых измерений предельно стандартизируется, если: Тестирование различных групп испытуемых проводится в оди­наковое время, в сходных условиях; Группа тестируемых выравнена по мотивации; Все испытуемые выполняют одни и те же задания.

Требования к заданиям с выбором одного правильного ответа 1. В тексте задания должна быть устранена всякая двусмыслен­ность или неясность формулировок. 2. Основная часть задания формулируется предельно кратко. Желательно не более одного предложения из семи-восьми слов. 3. Синтаксическая конструк­ция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися. 4. В основную часть задания включают большую часть условия задания, а для ответа оставляют не более двух- трех наиболее важных, ключевых слов для сформулированной в условии проблемы. 5. Все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста.

Требования к заданиям с выбором одного правильного ответа 6. Из текста задания исключаются все вербальные ас­ социации, способствующие выбору правильного ответа с по­мощью догадки. 7. Частота выбора номера места для правиль­ного ответа в различных заданиях теста должна быть пример­но одинакова либо номер места для правильного ответа вы­бирается в случайном порядке. 8. Все дистракторы к каждому заданию должны быть равноверо­ятно привлекательными для испытуемых, не знающих пра­вильного ответа. 9. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста. 10. Все ответы к одному заданию должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

Примеры заданий с двумя ответами ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ а) увеличилось б) уменьшилось СЛОВА, ПРОТИВОПОЛОЖНЫЕ ПО ЗНАЧЕНИЮ, НАЗЫВАЮТ 1) антонимами 2) синонимами

Примеры заданий с тремя ответами ИМПУЛЬС, ПОСТУПАЮЩИЙ ПО БЛУЖДАЮЩЕМУ НЕРВУ 1) учащает работу сердца 2) замедляет работу сердца 3) не влияет на деятельность сердца ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С а) быстрым экономическим ростом б) усилением роли крупных городов в) массовой миграцией населения из деревень в города

Задания с четырьмя ответами КАДЕТЫ СЧИТАЛИ ГЛАВНЫМ МЕТОДОМ РЕШЕНИЯ ОСНОВНЫХ ПРОБЛЕМ РОССИИ 1) революционное восстание масс 2) политический террор 3) тактику давления на правительство через представительные органы, парламент 4) всеобщую политическую стачку КАКИЕ КОМПОНЕНТЫ ВХОДЯТ В СРЕДСТВА ОБУЧЕНИЯ? 1) содержание, формы, методы 2) цель, содержание, результат 3) формы, методы, результат 4) цель, содержание, формы

Фасетные задания Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста

Пример фасетного задания

Задания с выбором нескольких правильных ответов УДВОЕННАЯ СОГЛАСНАЯ ПИШЕТСЯ В СЛОВАХ 1) и_люстрированный 2) жу_жание 3) режи_серский 4) кол_ичественный

Формула коррекции баллов

Задания с конструируемым регламентированным ответом

Требования к заданиям с конструируемыми регламентированными ответами 1. Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками. 2. Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала. 3. Все прочерки в заданиях для одного теста рекомендуется делать равной длины.

Требования к заданиям с конструируемыми регламентированными ответами 4. Место для ответа лучше отводить в конце задания или как можно ближе к концу. 5. После прочерка, если это возможно, указываются единицы измерения. 6. Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания

Пример задания со свободно конструируемым ответом НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЁХ ПРИМЕРОВ).

Пример задания со свободно конструируемым ответом

Решение примера

Оценочные критерии

Основные рекомендации по разработке заданий со свободно конструируемым ответом задания со свободно конструируемым ответом, в основном, предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда не могут быть использованы более простые формы; длина и сложность ответа может варьировать в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

Основные рекомендации по разработке заданий со свободно конструируемым ответом формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах учащихся от планируемого разработчиком эталона выполнения; при формулировке задания желательно избегать слов: что, кто, когда, перечислите и т.д., если не предполагается оценивать фактологические знания и простейшие умения репродуктивного уровня;

Основные рекомендации по разработке заданий со свободно конструируемым ответом при включении в условие противоположных суждений или направлений развития каких- либо процессов лучше попросить учащегося предоставить аргументацию по противоречивым точкам зрения, нежели чем просто просить занять определенную позицию по одной из них; выбор временных рамок для выполнения каждого задания должен позволять учащемуся сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если: А. Грамотно составлять задание, используя рекомендации приведенные выше. Б. Использовать при проверке только разработанную стандартизированную схему оцениваният и применять ее последовательно ко всем учащимся.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если: В. Обучить экспертов по проверке заданий пользовать стандартизированными критериями оценивания. Г. Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений первых двух экспертов более, чем на один балл.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если: Д. Использовать принцип анонимности проверяемых работ и независимость экспертных суждений. Е. Оценивать последовательно одно задание во всех работах, прежде чем переходить к оценке следующего задания. Ж. Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Задания типа эссе можно оценивать в соответствии с: простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов учащихся;

Задания типа эссе можно оценивать в соответствии с: усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

Задания типа эссе можно оценивать в соответствии с: рейтинговым методом, предполагающим накопительную оценку, которая получается путем сложения отдельных оценок в соответствии с общим впечатлением экспертов от полного ответа на задание.

Примеры заданий на установление соответствия

Требования к разработке заданий на соответствие 1. Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями. 2. Элементы задающего столбца располагаются слева, а элемен­ты для выбора справа. 3. Желательно, чтобы каждый столбец имел определенное на­звание, обобщающее все элементы столбца. 4. Необходимо, чтобы правый столбец содержал хотя бы не­сколько дистракторов. Еще лучше, когда число элементов правого множества примерно в два раза больше числа элементов левого столбца.

Требования к разработке заданий на соответствие 5. Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны. 6. Элементы столбцов должны быть выбраны по одному основа­нию для включения только гомогенного материала в каждое задание теста. 7. В дополнительной инструкции к заданию необходимо сооб­щить ученику о наличии дистракторов в правом столбце, а также о том, используется ли каждый элемент правого столбца только один раз или более одного раза.

Примеры заданий на соответствие