Современные подходы к разработке инструментария для оценки образовательных достижений выпускников основной школы Ковалева Галина Сергеевна заместитель директора ФИПИ Тел/факс 8 (095)

Объективное измерение - путь к новому качеству образования При создании контрольных измерительных материалов реализуются подходы к объективной оценке учебных достижений с учетом: – современных требований к образовательным достижениям обучающихся; –теории педагогических измерений; –традиций российского образования; –опыта разработки экзаменационных работ в России и за рубежом; –опыта ЕГЭ (анализ результатов экзамена, содержания КИМ на федеральном и региональном уровнях, тестологический анализ качества КИМ); –результатов всероссийских и международных исследований качества образования.

Инструментарий (контрольные измерительные материалы) Контрольные измерительные материалы (КИМ) включают: кодификатор, спецификацию экзаменационной работы, демонстрационную версию экзаменационной работы, экзаменационную работу с инструкцией для учащихся (в определенном количестве вариантов), ключи (правильные ответы на задания с выбором ответа и кратким ответом) и рекомендации по проверке и оценке заданий с развернутым ответом.

Технологическая схема разработки КИМ 1. Планирование КИМ. Подготовка спецификации. 3. Автоматическая сборка вариантов КИМ 4. Экспертиза и корректировка КИМ 5. Корректура, форматирование и подготовка оригинал-макетов КИМ 2. Создание банка заданий ФИПИ конкурсный отбор заданий экспериментальная проверка тестологический анализ Доработка заданий использование заданий на экзамене калибровка заданий

Создание системы обеспечение качества КИМ Разработка требований к качеству КИМ (требования к характеристикам заданий, вариантам, системе оценивания, процедуре разработки, экспертизе и т.д.) Конкурсный отбор заданий, спецификаций КИМ, систем генерации заданий Перспективные НИР

Создание системы обеспечения качества КИМ Общественно-профессиональная экспертиза с привлечением региональных и международных экспертов (ETS, CITO) Содержательный и тестологический анализ КИМ Анализ результатов экзаменов Открытое обсуждение качества КИМ

Стандарты качества контрольных измерительных материалов I. Требования к качеству экзаменационной работы в целом. II. Требования к качеству тестовых заданий. III. Требования к системе оценивания, процедуре проверки заданий с открытыми ответами. IV. Требования к статистической обработке результатов тестирований. V. Требования к процедуре формирования КИМ и системе хранения тестовых материалов. »

Требования к качеству экзаменационной работы Инструкция к экзаменационной работе и отдельным частям или заданиям должна быть направлена на то, чтобы экзаменуемые явно представляли себе, что они должны делать во время экзамена: где и как записывать ответы. При необходимости в инструкцию включаются примеры заданий для разъяснения. Время, отводимое на выполнение экзаменационной работы, соответствует цели экзамена. Оно определяется исходя из требования, что большинству экзаменуемых (более 80%) должно хватить времени на выполнение работы, т.е. время, не является влияющим фактором на результаты выполнения теста. »

Требования к качеству экзаменационной работы Структура экзаменационной работы соответствует цели и спецификации экзамена, а также учитывает технологию обработки результатов. Содержание экзаменационной работы должно быть валидно по отношению к проверяемым элементам обязательного минимума содержания и требованиям к уровню подготовки выпускников средней школы. В спецификации экзаменационной работы должно быть указано распределение заданий по содержанию, видам деятельности, типу, уровню сложности, контексту в процентном соотношении от максимального балла за выполнение работы. »

Требования к качеству экзаменационной работы На этапе планирования работы должны быть определены предполагаемая трудность работы, распределение заданий по трудности и полнота охвата учебного содержания. Разработанные варианты экзаменационных работ должны пройти предметную и тестологическую экспертизу на соответствие спецификации, содержательную валидность заданий и работы в целом, корректность с точки зрения предмета, приемлемость системы оценивания заданий с открытыми ответами и работы в целом, планируемую трудность отдельных частей и работы в целом. »

Требования к качеству экзаменационной работы Каждый этап разработки КИМ должен быть документально оформление. В спецификации экзаменационной работы необходимо описать алгоритм, по которому формируется последовательность заданий в экзаменационной работе. На момент принятия важных решений о выставлении отметок (проходном балле и др.) должны быть представлены характеристики, подтверждающие надежность и точность измерения. »

Требования к качеству тестовых заданий Общие требования к заданиям разного типа Дополнительные требования к заданиям с выбором ответа Дополнительные требования к заданиям с кратким ответом Дополнительные требования к заданиям с кратким ответом на соответствие Дополнительные требования к заданиям со свободным развернутым ответом Приложение 8. «Конкурс тестовых заданий и КИМ», »

Требования к качеству тестовых заданий Оформление заданий Оформление рисунков Оформление вариантов ответа для заданий с выбором ответа Оформление формул Оформление составных и альтернативных заданий Приложение 7. «Конкурс тестовых заданий и КИМ», »

Т ребования к текстам, используемым на экзаменах по русскому языку Содержание текста должно: соответствовать требованию «текстуальности» (внешней связности, внутренней осмысленности, законченности); учитывать возрастные особенности выпускника, не должно выходить за рамки коммуникативного, читательского и жизненного опыта экзаменуемого; должно содержать четко выраженную основную мысль, логически обоснованную систему ее развития и чётко представленные микротемы;

Т ребования к текстам, используемым на экзаменах по русскому языку Содержание текста не должно дискриминировать экзаменуемых по религиозному, национальному и другим признакам. Языковое оформление текста текст может принадлежать к любому стилю и функционально-смысловому типу речи; языковые особенности текста должны ярко отражать стилевую специфику текста; примерный объём текста – слов. »

Основные подходы к созданию стандартизированной системы оценивания заданий со свободным развернутым ответом Основная цель – повышение точности оценивания выполнения заданий со свободным развернутым ответом за счет: уменьшения расхождений в оценках независимых экспертов; уменьшения систематических ошибок в работе экспертов.

Научно-методическое обеспечение системы оценивания включает: типологию основных элементов содержания и учебно-познавательной деятельности, проверяемых заданиями со свободным развернутым ответом; типологию заданий со свободным развернутым ответом, проверяющих выделенные элементы содержания и учебно-познавательной деятельности; оптимальную систему критериев (интегральную, аналитическую, поэлементную) для оценки заданий со свободным развернутым ответом каждого выделенного типа;

Научно-методическое обеспечение системы оценивания используемые шкалы с обоснованием вида шкалы и ее размера; методику оценки ответов экзаменуемых на основе разработанных критериев с примерами типичных ответов, ошибок и рекомендациями по принятию мер в нестандартных ситуациях.

Организационно- технологическое обеспечение системы оценивания включает: методику отбора и подготовки экспертов для проверки выполнения заданий со свободным развернутым ответом; стандартизированную процедура проверки и перепроверки выполнения заданий со свободным развернутым ответом; механизмы обеспечения качества работы системы: (описание критериев качества и оптимальных процедур).

Классификация заданий со свободным ответом Задания с кратким ответом Задания с развернутым ответом: – (с ограниченным ответом и типа эссэ) »

Преимущества заданий со свободным развернутым ответом 1. Обеспечивают большую возможность оценить овладение предметной областью (выше содержательная валидность) 2. Обеспечивают большую возможность для диагностики результатов обучения и проблем в обучении

Преимущества заданий со свободным развернутым ответом 3. Вызывают больший интерес у учащихся чем задания с выбором ответа 4. Стимулируют учебный процесс на формирование более важных учебных умений (решение задач, доказательства, обобщение, рассуждения, оценочные суждения, аргументация и др.)

Недостатки заданий со свободным развернутым ответом 1. Субъективность проверки экспертов (снижение надежности) 2. Значительные затраты (людские, финансовые и др.) 3. Влияние сформированности коммуникативных умений ( а также почерка) и других факторов на результаты проверки

Разработка системы оценивания выполнения задания с открытым развернутым ответом 1. Определение подхода к оценке выполнения задания (интегральный, аналитический или поэлементный); 2. Выделение основных характеристик (критериев) для оценки выполнения задания, по которым можно дифференцировать работы учащихся; 3. Подбор примеров работ учащихся, демонстрирующих весь спектр выполнения работы (от отличной до неудовлетворительной); 4. Определение шкалы измерения для оценки разного уровня освоения данной характеристики (критерия) и длины шкалы

Разработка системы оценивания выполнения задания с открытым развернутым ответом 5. Экспериментальная проверка разработанного варианта критериев; 6. Доработка системы критериев; 7. Дополнительный подбор примеров работ учащихся, демонстрирующих весь спектр выполнения задания.

Система оценивания может считаться объективной и надежной Если несколько экспертов, проверяющие одну и ту же работу, делают одинаковое заключение о подготовке учащегося (выставляют одинаковые баллы). Если один и тот же проверяющий одинаково оценивает одну и ту же работу ученика, если он проверяет ее через некоторое время.

Статистические показатели, характеризующие качество разработанной системы оценивания 1. Распределение ответов учащихся. Если система баллов подобрана правильно, то ответы учащихся распределяются по всем баллам. Нет ни одного балла, который был получен незначительной группой учащихся (менее 5%).

Статистические показатели, характеризующие качество разработанной системы оценивания 2. Возрастание коэффициента точечно- бисериальной корреляции задания при увеличении категории (балла). При переходе от более низкого к более высокому баллу возрастает коэффициент точечно-бисериальной корреляции, что свидетельствует о том, что более высокий балл получают именно те учащиеся, которые лучше справились со всей работой.

Статистические показатели, характеризующие качество разработанной системы оценивания 3. Надежность проверки и перепроверки. При повторной проверке работы совпадение должно быть не менее чем в 85% случаев.

Доказательства надежности проверки заданий со свободным развернутым ответом 1. Результаты квалификационной проверки работы экспертов после подготовки, например, результаты зачета: согласованность работы отдельных экспертов с группой).

Доказательства надежности проверки заданий со свободным развернутым ответом 2. Результаты перепроверки работы экспертов во время проверки работ учащихся (работы проверяются двумя независимыми экспертами, а потом результаты сравниваются или работы проверяет один эксперт, затем часть работ перепроверяется другим экспертом). (Надежность работы эксперта по разным работам)

Доказательства надежности проверки заданий со свободным развернутым ответом 3. Результаты оценки надежности работы экспертов, проверяющих одну и ту же работу (надежность проверки одной и той же работы).

Доказательства надежности проверки заданий со свободным развернутым ответом 4. Согласованность работы экспертов по годам. 5. Согласованность работы различных групп экспертов по различным дисциплинам. 6. Согласованность работы одного и того же эксперта в течение времени (один и тот же эксперт через некоторое время проверяет заново некоторые работы).

Ковалева Галина Сергеевна заместитель директора Федерального института педагогических измерений Тел/факс (495) СПАСИБО ЗА ВНИМАНИЕ! Вопросы и комментарии