Проект 09.03-002-п-Ф-192 Научно-исследовательская работа «РАЗРАБОТКА СТРУКТУРЫ И МЕТОДИКИ ФОРМИРОВАНИЯ ЕДИНОГО ФЕДЕРАЛЬНОГО БАНКА ИЗМЕРИТЕЛЬНЫХ МАТЕРИАЛОВ. - презентация

1 Проект п-Ф-192 Научно-исследовательская работа «РАЗРАБОТКА СТРУКТУРЫ И МЕТОДИКИ ФОРМИРОВАНИЯ ЕДИНОГО ФЕДЕРАЛЬНОГО БАНКА ИЗМЕРИТЕЛЬНЫХ МАТЕРИАЛОВ ДЛЯ ПРОЦЕДУР КОНТРОЛЯ И ОЦЕНКИ КАЧЕСТВА ВЫСШЕГО И СРЕДНЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ» проводимая в рамках Задачи 3 Мероприятия 9 Подмероприятия 9.3 Федеральной целевой программы развития образования на годы

2 Цель проекта Цель проекта - совершенствование процедур оценки качества высшего и среднего профессионального образования путем создания концепции и прототипа единого федерального банка измерительных материалов для комплексного обеспечения процедур оценки качества ВПО и СПО.

3 Задачи проекта 1. Анализ практики использования измерительных материалов для процедур контроля и оценки качества ВПО и СПО на федеральном и региональном уровнях 2. Разработка типовых моделей проведения измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов 3. Разработка типовых спецификаций КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов 4. Разработка моделей мониторинга и анализа на федеральном и региональном уровнях результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов 5. Разработка концепции единого федерального банка измерительных материалов для оценки качества ВПО и СПО 6. Разработка прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО 7. Апробация концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО 8. Доработка концепции и прототипа единого федерального банка измерительных материалов для оценки качества ВПО и СПО.

4 В рамках этапа I.1 анализ практики использования измерительных материалов для процедур контроля и оценки качества ВПО и СПО на федеральном и региональном уровнях Проанализирована практика использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе высшего профессионального образования. Проведен анализ практики использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе среднего профессионального образования.

5 I.1.1. Анализ практики использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе высшего профессионального образования. Были проанализированы процедуры контроля и оценки качества образования, проводимые в рамках осуществления государственного контроля качества ВПО на федеральном и региональном уровнях Проведен анализ: нормативно-правовых аспектов проведения процедур контроля и оценки качества ВПО; организационно-технологических моделей проведения процедур контроля и оценки качества ВПО; практики использования контрольных измерительных материалов (КИМ) для проведения процедур контроля и оценки качества ВПО, в том числе, документы, регламентирующие содержание и порядок разработки КИМ, практика разработки КИМ на основе банков заданий; методики обработки, анализа и мониторинга результатов процедур контроля и оценки качества ВПО; Выделены достоинства и недостатки анализируемых процедур контроля и оценки качества ВПО с учетом особенностей проведения процедур для разных направлений подготовки специалистов ВПО.

6 I.1.2. Анализ практики использования измерительных материалов для процедур контроля и оценки качества образования на федеральном и региональном уровнях в системе среднего профессионального образования. Проанализированы процедуры контроля и оценки качества образования, проводимые в рамках осуществления государственного контроля качества СПО на федеральном и региональном уровнях Были проанализированы: нормативно-правовые аспекты проведения процедур контроля и оценки качества СПО; организационно-технологические модели проведения процедур контроля и оценки качества ВПО; практика использования контрольных измерительных материалов (КИМ) для проведения процедур контроля и оценки качества СПО, в том числе, документы, регламентирующие содержание и порядок разработки КИМ, практика разработки КИМ на основе банков заданий; методики обработки, анализа и мониторинга результатов процедур контроля и оценки качества СПО; Выделены достоинства и недостатки анализируемых процедур контроля и оценки качества СПО с учетом особенностей проведения процедур для разных направлений подготовки специалистов СПО.

7 В рамках этапа I.2 Разработка типовых моделей проведения измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов В частности были разработаны: Описание научно-методических подходов к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов Типовые регламенты процедур оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов.

8 I.2.1. Разработка научно-методических подходов к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов. В ходе проведения исследований были разработаны научно-методические подходы к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов. Описание каждого из подходов включает: описание категорий участников процедур оценки качества ВПО и СПО (не менее 3 категорий – испытуемые, организаторы в аудитории, организаторы процедуры в целом); описание порядка действий участников процедур оценки качества ВПО и СПО для каждой из категорий участников; описание общего порядка проведения процедур оценки качества ВПО и СПО; описание технологии проведения процедур оценки качества ВПО и СПО. Было описано не менее 3 различных регламентов – для оценки состояния системы образования, для оценки учреждения ВПО или СПО, для оценки индивидуальных достижений обучающихся. Типовые регламенты оценки качества ВПО и СПО были разработаны в соответствии с научно-методическими подходами к оценке качества ВПО и СПО, разработанными в соответствии с п. I.2.1. Типовые регламенты оценки качества ВПО и СПО разработаны в соответствии с законодательством Российской Федерации, в том числе, в соответствии с нормативными актами.

9 I.2.2. Разработка типовых регламентов процедур оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов В разделе представлены 3 типовых регламента процедур оценки качества ВПО и СПО, которые были разработаны в соответствии с научно-методическими подходами к оценке качества ВПО и СПО, разработанными в соответствии с разделом I.2.1. Каждый типовой регламент процедур оценки качества ВПО и СПО включает: описание категорий участников процедур оценки качества ВПО и СПО, в том числе испытуемых, организаторов в аудитории, организаторов процедуры в целом; описание порядка действий участников процедур оценки качества ВПО и СПО для каждой из категорий участников; описание общего порядка проведения процедур оценки качества ВПО и СПО; описание технологии проведения процедур оценки качества ВПО и СПО.

10 В рамках этапа I.3 Разработка типовых структур КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов Были разработаны: типовые кодификаторы КИМ для оценки качества ВПО и СПО типовые спецификации КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов

11 I.3.1. Разработка типовых кодификаторов КИМ для оценки качества ВПО и СПО Представленные в документе типовые кодификаторы сформированы на основе требований Федеральных государственных образовательных стандартов высшего и среднего профессионального образования и могут служить основой разработки спецификаций КИМ для оценки качества среднего и высшего профессионального образования. Всего представлены материалы для разработки спецификаций КИМ по 10 дисциплинам высшего профессионального образования и 8 дисциплинам среднего профессионального образования.

12 I.3.2. Разработка типовых спецификаций КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов В разделе представлены типовые спецификации для разработки КИМ по 10 дисциплинам высшего профессионального образования и 8 дисциплинам среднего профессионального образования. Они были подготовлены на основе разработанных типовых кодификаторов элементов содержания и требований к результатам освоения соответствующих дисциплин

13 I.4 Разработка моделей мониторинга и анализа на федеральном и региональном уровнях результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов В рамках исследования разработаны: алгоритмы обработки и представления результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов; регламенты мониторинга и анализа результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов.

14 I.4.1. Разработка алгоритмов обработки и представления результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов В рамках данного этапа были описаны алгоритмы обработки результатов, формы статистических отчетов для мониторинга и анализа результатов. Описаны 4 группы форм статистических отчетов: для оценки состояния системы образования, для оценки учреждения ВПО или СПО, для оценки индивидуальных достижений обучающихся, для использования при разработке КИМ на основе единого федерального банка измерительных материалов). Разработаны модели представления форм статистики на региональном и федеральном уровнях, позволяющая автономно проводить анализ и мониторинг результатов группам пользователей, описанным в п. I.2.1. В формах статистических отчетов выделены оцениваемые параметры, описаны типовые критерии оценивания в соответствии с подходами к интерпретации результатов процедур оценки качества ВПО и СПО, описанными в п. I.2.1. Информация о результатах оценивания визуализирована при представлении форм статистики. Представлено более 30 статистических форм.

15 I.4.2. Разработка регламентов мониторинга и анализа результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов Представлены четыре типовых регламента мониторинга и анализа результатов измерительных процедур по оценке качества образования на основе единого федерального банка измерительных материалов: для оценки состояния системы образования, для оценки образовательных учреждений, для оценки индивидуальных достижений обучающихся, для формирования КИМ на основе единого федерального банка измерительных материалов. Регламенты разработаны с учетом алгоритмов обработки и представления результатов измерительных процедур по оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов. Каждый регламент включает: общие положения, в том числе описание целей и задач анализа и мониторинга результатов измерительных процедур по оценке качества образования на основе единого федерального банка измерительных материалов; описание групп пользователей, осуществляющих анализ и мониторинг результатов; описание порядка доступа групп пользователей к информационным ресурсам; рекомендации для групп пользователей.

16 В рамках этапа I.5 Разработка концепции единого федерального банка измерительных материалов для оценки качества ВПО и СПО Разработаны: методика использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО; техническое задание на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО.

17 I.5.1. Разработка методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО Представлена методика использования единого федерального банка измерительных материалов для процедур контроля и оценки качества образования. Она была разработана в соответствии с: описанием научно-методических подходов к оценке качества ВПО и СПО на основе единого федерального банка измерительных материалов; описанием регламентов процедур оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов; описанием типовых структур проверяемых элементов для оценки качества обучающихся в ОУ ВПО и СПО; описанием типовых спецификаций КИМ для оценки качества ВПО и СПО на основе единого федерального банка измерительных материалов; описанием алгоритмов обработки результатов, форм статистических отчетов для мониторинга и анализа результатов; описанием регламентов мониторинга и анализа результатов измерительных процедур по оценке качества образования на основе единого федерального банка измерительных материалов. Описание методики использования единого федерального банка измерительных материалов для контроля и оценки качества образования включает: описание групп пользователей, работающих с единым федеральным банком; описание основных операций, выполняемых с использованием единого федерального банка, в том числе, операций хранения базы измерительных материалов, компоновки КИМ, обеспечения проведения процедур оценки качества образования, хранения, анализа и мониторинга результатов процедур оценки качества образования; описание информационных потоков и типов данных, используемых при выполнении основных операций; описание технических требований к оборудованию и каналам связи при использовании единого федерального банка измерительных материалов.

18 I.5.2. Разработка технического задания на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО Техническое задание на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества образования было разработано в соответствии с концепцией, разработанной в соответствии с п. I.5.1. и требованиями ГОСТ Проектная документация разрабатывалась с учетом требований РД Техническое задание описывает программный комплекс, реализующий все элементы методики использования единого федерального банка, разработанной в соответствии с п. I.5.1. В состав Технического задания в развернутом виде включены основные аспекты разработки единого федерального банка измерительных материалов для процедур контроля и оценки качества образования, в т.ч. требования к функциональным характеристикам, техническим средствам, требования к совместимости и другие требования. Техническое задание на разработку единого федерального банка измерительных материалов для процедур контроля и оценки качества образования было направлено на утверждение в Рособрнадзор

19 В рамках этапа I.6 Разработка прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО Разработаны: прототип программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО контент прототипа программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО

20 I.6.1. Разработка прототипа программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО В автоматизированной системе единого федерального банка измерительных материалов для процедур контроля и оценки качества образования предусмотрены следующие функции: хранение отдельных тестовых заданий и сопроводительных материалов к ним – ответов и решений, критериев оценивания, текстовых документов и графических элементов – в привязке к пунктам структурированного перечня (кодификатора); хранение текстовых и числовых параметров каждого тестового задания (тестологических характеристик); компоновка комплектов тестовых заданий (экзаменационных вариантов) в соответствии со спецификацией; печать экзаменационных вариантов; автоматизированное обновление тестологических характеристик тестовых заданий на основании данных о результатах тестирования; поиск тестовых заданий по пунктам кодификатора и тестологическим характеристикам. Документация на автоматизированную систему единого федерального банка измерительных материалов для процедур контроля и оценки качества образования разработана в соответствии с перечнем наименований документов, определенном в техническом задании и требованиями РД и ГОСТ

21 Разработка контента прототипа программного комплекса единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО Контент (наполнение) прототипа программного комплекса единого федерального банка измерительных материалов представляет собой набор отдельных заданий и сопроводительных материалов к ним: ответы и решения, критерии оценивания; Измерительные материалы равномерно распределены по разделам кодификаторов (п. I.3.1) и позволяет компоновку не менее 4 экзаменационных вариантов в соответствии с каждой из 6 типовых спецификаций, разработанных в соответствии с п. I.3.2.

22 I.7 Апробация концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО Разработка инструктивно-методических материалов и компоновка КИМ для проведения апробации Проведение процедур оценки качества ВПО и СПО в апробационном режиме

23 I.7.1. Разработка инструктивно-методических материалов и компоновка КИМ для проведения апробации КИМ сформированы с использованием механизмов компоновки экзаменационных вариантов, обеспечиваемых прототипом программного комплекса единого федерального банка; сформировано по 4 варианта КИМ в соответствии с каждой из 6 типовых спецификаций (всего 24 варианта КИМ); составлен план апробации и инструктивные материалы для всех участников апробации, включающие: цели апробации; перечень функций и компонентов единого федерального банка измерительных материалов для процедур контроля и оценки качества образования, подлежащих апробации; условия проведения апробации; порядок действий пользователей единого федерального банка измерительных материалов для процедур контроля и оценки качества образования, участвующих в апробации; порядок регистрации результатов апробации и выявленных недостатков; указание о форме представления результатов апробации.

24 I.7.2. Проведение процедур оценки качества ВПО и СПО в апробационном режиме В апробации концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО приняли участие образовательные учреждения высшего и среднего профессионального образования из 10 субъектов РФ(Краснодарский край, Красноярский край, Курганская область, Москва, Новосибирская область, Омская область, Пермский край, Ростовская область, Самарская область, Томская область; В том числе: 11 учреждений ВПО и 12 учреждений СПО. Общее количество участников – 413 в системе ВПО и 363 в системе СПО. На основе анализа замечаний и предложений, полученных от учреждений ВПО и СПО, участвовавших в апробации, составлен перечень предложений по доработке прототипа ЕФБИМ и методики использования ЕФБИМ, включенные в настоящий перечень.

25 Заключительный этап I.8 Доработка концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО Предусматривал доработку: методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО; прототипа единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО.

26 I.8.1. Доработка методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО По результатам апробации была проведена доработка методики использования единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО.

27 I.8.2. Доработка прототипа единого федерального банка измерительных материалов для процедур контроля и оценки качества ВПО и СПО По результатам апробации концепции и прототипа единого федерального банка измерительных материалов для процедур оценки качества ВПО и СПО, проводившейся в субъектах РФ, был составлен перечень предложений по доработке. На основании перечня предложений по доработке была произведена доработка прототипа ЕФБИМ. Изменения коснулись описания функций при использовании ЕФБИМ, в состав которых включено проведение апробации тестовых заданий и вариантов КИМ. Изменения внесены: в программные коды прототипа ЕФБИМ; в документацию на прототип ЕФБИМ.