Формирование ФОС, требования к ним при использовании в ходе аккредитационной экспертизы образовательных программ Масленников Александр Степанович Начальник отдела филиала ФГБУ «Росаккредагентство» в г.Йошкар-Оле

Цель доклада Сформировать модель оценки ФОС для использования в ходе аккредитационной экспертизы Рассмотреть подходы к использованию ФОС вуза в ходе аккредитационной экспертизы

Требования ФГОС 7.4. В учебной программе каждой дисциплины (модуля, курса) должны быть четко сформулированы конечные результаты обучения в органичной увязке с осваиваемыми знаниями, умениями и приобретаемыми компетенциями в целом по ООП. … Высшее учебное заведение обязано обеспечивать гарантию качества подготовки, в том числе путем: … разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников;

Требования ФГОС 8.4. Для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей ООП (текущий контроль успеваемости и промежуточная аттестация) создаются фонды оценочных средств, включающие типовые задания, контрольные работы, тесты и методы контроля, позволяющие оценить знания, умения и уровень приобретенных компетенций. Фонды оценочных средств разрабатываются и утверждаются вузом. Вузом должны быть созданы условия для максимального приближения программ текущего контроля успеваемости и промежуточной аттестации обучающихся к условиям их будущей профессиональной деятельности - для чего, кроме преподавателей конкретной дисциплины, в качестве внешних экспертов должны активно привлекаться работодатели, преподаватели, читающие смежные дисциплины.

Документация системы качества образовательного учреждения (СК ОУ) Концепция ФОС ОУ Положение о ФОС ОУ Положение о системе оценивания Методические указания по формированию фонда оценочных средств основной образовательной программы (ФОС ООП) Регламенты формирования ФОС ООП и ФОС ОУ использования ФОС ООП сбора и обработки результатов использования ФОС ООП хранения и безопасности ФОС ОУ принятия управленческих решений и корректирующих воздействий итераций ФОС ООП ФО С ОО П 1 Модели оценочных средств ФО С ОО П 2 ФО С ОО П 3 ФО С ОО П 4 ФО С ОО П N Фонд оценочных средств образовательного учреждения Система внутреннего мониторинга качества образования Совокупность основных образовательных программ ОУ Структурно-логическая схема системы внутреннего мониторинга качества образования применительно к ФОС Проект ФИПИ и РГГУ

п/п Документ ФОС Требования к составу документа Требования к содержанию раздела, документа Критерии оценки Шка ла Раздел 1. Научное и методологическое обоснование 1.1 Концепция системы оценивания (внутреннего мониторинга качества образования в ОУ) Наличие Цели Должны соответствовать ФГОС и ООП, документам по развитию ОУ, определяться политикой ОУ в области оценки качества образования Адекватность: соответствие цели нормативным документам, требованиям к результатам обучения, запросам рынка труда Достижимость: Задачи и функции должны соответствовать целям и охватывать научно- методические, организационные и технологические аспекты достижения целей. Соответствие целям Выполнимость Достаточность ресурсов ОУ для выполнения на практике Полнота охвата Сформулированные задачи должны обеспечивать достижение всех поставленных целей Обоснование Должно опираться на: экспертные заключения теоретические положения аналитические отчёты и выводы; существующие эмпирические данные (результаты практик, экспериментов) Обоснованность выбранной методологии (принципов, подходов, взглядов) Обоснование применимости к оцениванию компетенций Данная методология должна позволять оценивать компетенции Методология (принципы, подходы, взгляды) Должны опираться на: научные теории и разработки; математические и статистические методы результаты обработки (индексные и агрегатные данные) Соответствие целям и задачам концепции ФОС 2 Раздел 2. Нормативное обеспечение 2.1 Положение о системе оценивания (мониторинга качества образования) или ФОС Наличие Методы оценивания- подходы и принципы к оценке результатов образования (ЗУВ, элементы компетенций); - наличие методов оценки результатов образования; - система оценки компетенций. Адекватность предметной области Применимость на практике Использование рейтинговых оценок Организация оценивания Общие процедуры оценивания Полнота регламентирования всех этапов оценочного процесса Наличие описания этапов оценивания на всех уровнях освоения ООП по направлениям подготовки (пошаговые инструкции представлены в регламентах) 2 КРИТЕРИАЛЬНЫЕ ТРЕБОВАНИЯ к составу и содержанию документации по формированию и использованию фондов оценочных средств

Объект проверки: Нормативное обеспечение ФОС Требования ФГОС Положение о системе оценивания в вузе Положение о ФОС вуза Методические указания по формированию ФОС Требования к ФОС в рамках реализуемой ООП Паспорта оценочных средств Рецензии на оценочные средства

Уровень вуза Проверяемый документ Положение о системе оценивания в вузе Положение о ФОС вуза Методические указания по формированию ФОС Проверяемые позиции Наличие документа Когда и кем утвержден Общая структура документа

Виды оценочных средств Традиционные: Контрольная работа Коллоквиум Тест Доклад, сообщение Расчетно-графическая работа Реферат Курсовой проект Отчет по практике … Инновационные: Кейс-задание Деловая (ролевая) игра Исследовательский проект Тренажер (технический) Эссе Психологический тест (опросник) …

Уровень ООП Проверяемый документ Образовательная программа Рабочий учебный план Матрица формируемых компетенций и дисциплин УМК дисциплин Примеры ОС текущего и промежуточного контроля Пример ОС для итоговой государственной аттестации Проверяемые позиции Наличие документа Когда и кем утвержден Общая структура документа Рецензии

Циклы, дисциплины (модули) учебного плана ООП бакалавра Индекс компетенций Б.1 ГСЭБ.2 МЕНБ.3 Профессиональный Б.4 Физкультура Б.5 Практики / НИР Б.6 ИГА Б.1.1 Базовая часть Б.1.2 Вариативна я часть Б.2.1 Базовая часть Б.2.2 Вариативна я часть Б.3.1 Базовая часть Б.3.2 Вариативна я часть Б.5.1 Учебная Б.5.2 НИР. Б.5.3 Производственная Гос. экзамен ВКР Дисциплин ы Модули Дисциплин ы Модули Дисциплин ы Модули Дисциплин ы Модули Дисциплин ы Модули Дисциплины Модули 1…n1…n1…N1…n1…n1…n Общекультурные компетенции ОК ОК … ОК Профессиональные компетенции (общепрофессиональные, пофессионально- специализированные) ПК ПК … Рекомендуемые оценочные средства Виды аттестации Формы оценочн ых средств Текущая (по дисциплине ) УО-1, 2* ПР-1, ТС Промежуточ ная (по дисциплине ) УО ПР-2, 3, Рубежная (по модулю) УО-3, ПР-4, ИГАГос. экз ВКР Макет структурной матрицы оценочных средств для проведения текущего, промежуточного, рубежного контроля и итоговой оценки компетенций обучающихся ( РЕКОМЕНДАЦИИ ПО ПРОЕКТИРОВАНИЮ И ИСПОЛЬЗОВАНИЮ ОЦЕНОЧНЫХ СРЕДСТВ ПРИ РЕАЛИЗАЦИИ ООП ВПО НОВОГО ПОКОЛЕНИЯ) РГГУ, 2013

Уровень кафедры Проверяемый документ Рабочая программа дисциплины (модуля) ФОС текущего контроля ФОС промежуточного контроля Проверяемые позиции Наличие документа, когда и кем утвержден Требования к ФОС Назначение Авторы разработки Контролируемые результаты обучения Форма проведения контроля Метод оценивания (экспертный, автоматизированный) Критерии оценивания результатов Рецензия

Основные компоненты паспорта тестового материала по дисциплине Название дисциплины (модуля) Время выполнения теста (оценочного средства) Описание контролируемого результата обучения: перечень демонстрируемых результатов на уровне «знать»; перечень демонстрируемых результатов на уровне «уметь». Критерии оценки: доля верно выполненных заданий для уровня освоения «знать»; доля верно выполненных заданий для уровня освоения «уметь». Интерпретация результатов тестирования: освоен только уровень «знать»; освоен только уровень «уметь»; освоены уровни «знать» и «уметь». Статистические параметры теста: коэффициент надёжности теста стандартная ошибка измерений коэффициенты решаемости заданий дифференцирующая способность заданий

Уровни заданий в ФОС (из Положений о ФОС различных вузов) …. Различают задачи и задания: а) репродуктивного уровня, позволяющие оценивать и диагностировать знание фактического материала (базовые понятия, алгоритмы, факты) и умение правильно использовать специальные термины и понятия, узнавание объектов изучения в рамках определенного раздела дисциплины; б) реконструктивного уровня, позволяющие оценивать и диагностировать умения синтезировать, анализировать, обобщать фактический и теоретический материал с формулированием конкретных выводов, установлением причинно- следственных связей; в) творческого уровня, позволяющие оценивать и диагностировать умения, интегрировать знания различных областей, аргументировать собственную точку зрения. …. Для наиболее полного отражения уровня подготовки выпускников и степени сформированности у них компетенций фонд ОДС должен быть представлен вопросами и заданиями трех уровней сложности, отражающих уровни сформированности компетенций: знания, умения, владения. В основе заданий 1-го уровня – знания, находятся формулировки основных понятий, знания нормативных документов, характеристик изучаемых явлений и процессов. В основе заданий 2-го уровня – умения, находятся умения применять известные правила выполнения расчетов или анализа тех или иных явлений и процессов при выполнении типовых расчетов. В основе заданий 3-го уровня – владения, находится владение инструментарием для выполнения практических задач, связанных с объектами профессиональной деятельности.

Условия использования оценочных средств вуза в ходе аккредитационной экспертизы образовательных программ

ОБОСНОВАНИЕ МОДЕЛИ ВНЕШНЕЙ ОЦЕНКИ КАЧЕСТВА ПОДГОТОВКИ ПРИ АККРЕДИТАЦИОННОЙ ЭКСПЕРТИЗЕ В соответствии с компетентностно-ориентированным учебным планом процесс формирования компетенций основан на изучении определенных групп дисциплин (модулей) В рамках учебно-методических комплексов дисциплин (модулей) прописываются результаты обучения Результаты обучения формулируются в виде уровней освоения дисциплины (модуля) (знать – уметь - владеть) Модель оценки качества подготовки при аккредитационной экспертизе: оценка уровня освоения обучающимися дисциплин (модулей) базовой части циклов подготовки

Условия использования ОС вуза в ходе аккредитационной экспертизы Наличие внешней рецензии на ОС Наличие нескольких эквивалентных вариантов ОС (возможность генерации вариантов) Наличие системы компьютерного предъявления ОС Возможность автоматизированной проверки результатов оценивания (без экспертов) Наличие базы результатов использования данного ОС (для сравнительного анализа) Условия учебного процесса позволяют провести педагогические измерения (наличие контингента студентов, аудиторий, условий…)

Требования к ФОС для оценивания компетенций

Оценивание компетенций «Оценивание результатов обучения и компетенций выпускника вуза, осуществляется как в ходе мониторинга учебного процесса по формированию компетенций обучающегося, так и по результатам демонстрирования выпускником освоенных компетенций в ходе итоговой аттестации выпускников.» (РЕКОМЕНДАЦИИ ПО ПРОЕКТИРОВАНИЮ И ИСПОЛЬЗОВАНИЮ ОЦЕНОЧНЫХ СРЕДСТВ ПРИ РЕАЛИЗАЦИИ ООП ВПО НОВОГО ПОКОЛЕНИЯ) РГГУ, 2013

Оценивание компетенций Компетенция - способность решать профессиональные задачи над объектами профессиональной деятельности Объекты профессиональной деятельности Профессиональные задачи Виды деятельности Содержание оценочных средств Оцениваемые компетенции

Пример матрицы компетенций (Пермский НИПУ)

Контроль уровня сформированности компетенций Наиболее эффективен при ИГА Возможен при: защите курсовых проектов; отчетах по учебным и производственным практикам; отчетах по НИРС

Инженерная графика РЕДУКТОР ЦУ- 160 Формирование полидисциплинарного оценочного материала на основе объекта профессиональной деятельности Теоретическая механика Сопротивление материалов Взаимозаменяемость и стандартизация Теория механизмов и машин Детали машин

Особенности компетентностно- ориентированных заданий «Разработка и применение компетентностно- ориентированных заданий означает моделирование ситуаций для осуществления деятельности студента на основе использования им дополнительных возможностей поиска и обработки необходимого учебного материала» Ефремова Н.Ф. «Формирование и оценивание компетенций в образовании». Монография. Ростов- на Дону, «Аркол», с.241

Особенности компетентностно- ориентированных заданий Содержание: задания разрабатываются на основе профессионально-ориентированных ситуаций с объектами профессиональной деятельности Форма: группа заданий открытого и закрытого типа Процедура выполнения: свободный поиск необходимой информации Шкала оценивания задания: политомическая (полнота выполнения задания, объем и уровень использованной информации и т.п.) Шкала оценивания ситуации: многомерная (уровень деятельности, вид деятельности, уровень сформированности компетенции)

Стандарты процедуры оценивания компетенций (Ефремова Н.Ф. Формирование и оценивание компетенций. Монография. – Р.-н-Д.«Аркол», – 386 с. ) 1. Периодичность проведения оценки уровня сформированности компетенций от обучающегося, приступающего к освоению ООП, до выпускника на каждом этапе обучения и по мере завершения изучения модуля ООП. 2. Соблюдение последовательности проведения оценки: развитие компетенций - по возрастанию их уровней, оценочные средства - на каждом этапе учитывают это возрастание. 3. Многоступенчатость: оценка и самооценка обучающегося, обсуждение результатов и комплекс мер по устранению недостатков. 4. Единство используемой технологии для всех обучающихся, выполнение условий сопоставимости результатов оценивания.

СХЕМА ВЗАМОДЕЙСТВИЯ ОСНОВНЫХ КОМПОНЕНТОВ КОМПЕТЕНТНОСТНОГО ОБУЧЕНИЯ (Ефремова Н.Ф. Формирование и оценивание компетенций. Монография. – Р.-н-Д.«Аркол», – 386 с. )

Основные принципы, используемые для разработки и применения фонда средств оценки компетенций валидные контрольные измерительные материалы; соответствие содержания материалов уровню и стадии обучения; четко сформулированные критерии оценки; максимально объективные процедуры и методы оценки; высококвалифицированные специалисты- оценщики; четко прописанные рекомендации действий по итогам оценки.

Наиболее интересные публикации по ФОС 1. Европейские публикации по вопросам написания результатов обучения - Электронный ресурс – // umu.vspu.ac.ru/files/doc… 2. Ефремова Н.Ф. Формирование и оценивание компетенций. Монография. – Р.-н-Д.«Аркол», – 386 с. 3. Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при компетентностном подходе / В.А. Богословский, Е.В. Караваева, Е.Н. Ковтун, О.П. Мелехова, С.Е. Родионова, В.А. Тарлыков, А.А. Шехонин. – М.: Изд-во МГУ, Положение о фонде оценочных средств по дисциплине Оренбургского государственного университета (ОГУ) – Электронный ресурс:

РЕКОМЕНДАЦИИ ПО ПРОЕКТИРОВАНИЮ И ИСПОЛЬЗОВАНИЮ ОЦЕНОЧНЫХ СРЕДСТВ ПРИ РЕАЛИЗАЦИИ ОСНОВНОЙ ОБРАЗОВАТЕЛЬНОЙ ПРОГРАММЫ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ (ООП ВПО) НОВОГО ПОКОЛЕНИЯ. Составитель: Е. И. Сафонова При участии Е.Н. Евсеевой, Е.М. Емышевой, А.В. Корчинского, И.А. Коссова. Отв. редактор В.В. Минаев, д-р экон. наук, проф. Рекомендации подготовлены на основании законодательных и иных нормативных правовых актов в сфере ВПО, методических рекомендациях Координационного совета УМО и НМС высшей школы по проектированию основных образовательных программ, реализующих ФГОС ВПО, Исследовательского центра проблем качества подготовки специалистов Национального исследовательского технологического университета «МИСИС», материалах серии «Инновационный университет» Московского государственного университета им. М.В. Ломоносова и на основании локальных нормативных документов РГГУ. Рекомендовано Методическим советом РГГУ Протокол 4 от Рекомендовано РИСО Протокол 2 от Материал опубликован в Электронной библиотеке РГГУ © Российский государственный гуманитарный университет

Спасибо за внимание!