Оценка качества освоения образовательных программ. Требования к фондам оценочных средств Семинар на базе РАНХиГС (Санкт-Петербург) 5-6 июня 2014 года

Нормативная база: 273-ФЗ Образование – совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции; Квалификация – уровень знаний, умений, навыков и компетенции, характеризующий подготовленность к выполнению определенного вида профессиональной деятельности; Качество образования – комплексная характеристика, выражающая, в том числе, степень достижения планируемых результатов образовательной программы; Образовательная программа – комплекс основных характеристик образования, включающий, в том числе, оценочные материалы;

Нормативная база: 273-ФЗ Государственная аккредитация – только в отношении ОП; подтверждение соответствия содержания и качества требованиям ФГОС; аккредитационными органами; Независимая оценка качества образования – соответствие потребностям потребителя, конкурентоспособность на российском и международном рынках образовательных услуг; Общественная аккредитация – признание уровня деятельности образовательной организации соответствующим критериям и требованиям российских, иностранных и международных организаций; Профессионально-общественная аккредитация (проф. ОП) – оценка соответствия требованиям профессиональных стандартов, требованиям рынка труда со стороны работодателей, их объединений или уполномоченных ими организаций.

Нормативная база: ФГОС 3+ Раздел 8. Оценка качества освоения ОП 8.1 Ответственной за обеспечение качества подготовки по образовательной программе проявляется организация. 8.3 Оценка качества включает текущий контроль успеваемости, промежуточную и государственную итоговую аттестацию. Текущий контроль успеваемости обеспечивает оценивание хода освоения дисциплин и прохождения практик. Промежуточная аттестация обеспечивает оценивание промежуточных и окончательных результатов обучения по дисциплинам, практикам, курсовому проектированию (порядок, конкретные формы и процедуры по каждой дисциплине (модулю) и практике определяет организация). Итоговая аттестация – форма оценки степени и уровня освоения обучающимися образовательной программы в целом (порядок утверждает Минобрнауки России).

Нормативная база: ФГОС Для осуществления процедур текущего контроля и промежуточной аттестации организация создает фонды оценочных средств, позволяющие оценить достижение запланированных результатов и уровень сформированности всех компетенций, заявленных в образовательной программе (привлечение к процедуре проведения и экспертизе ФОС внешних экспертов – работодатели, НПР смежных областей, специалисты по разработке и сертификации ОС). Оценочные средства – фонд контрольных заданий, а также описаний форм и процедур, предназначенных для определения качества освоения студентом учебного материала. Фонд оценочных средств – комплект методических и контрольно-измерительных материалов, предназначенных для оценивания компетенций на разных стадиях обучения студентов, а также для аттестационных испытаний выпускников на соответствие (или несоответствие) уровня их подготовки требованиям ФГОС по направлению подготовки или специальности.

Оценочные средства в составе ОП В образовательной программе определяются: планируемые результаты освоения ООП; планируемые результаты обучения по каждой дисциплине, обеспечивающие достижение результатов освоения ОП в целом. В учебном плане указываются: перечень аттестационных испытаний итоговой (государственной итоговой) аттестации, а также формы промежуточной аттестации. Рабочая программа дисциплины включает фонд оценочных средств для промежуточной аттестации по дисциплине. Программа практики включает фонд оценочных средств для проведения промежуточной аттестации по практике. Образовательная программа включает фонд оценочных средств для проведения итоговой (государственной итоговой) аттестации выпускников.

Требования к структуре ФОС (Порядок) Фонд оценочных средств в составе рабочей программы дисциплины (модуля), практики включает: - перечень компетенций с указанием этапов их формирования в процессе освоения образовательной программы; - описание показателей и критериев оценивания компетенций на различных этапах их формирования, описание шкал оценивания; - типовые контрольные задания или иные материалы, необходимые для оценки знаний, умений, навыков и (или) опыта деятельности, характеризующих этапы формирования компетенций в процессе освоения образовательной программы; - методические материалы, определяющие процедуры оценивания знаний, умений, навыков и (или) опыта деятельности, характеризующих этапы формирования компетенций.

Требования к структуре ФОС (Порядок) Фонд оценочных средств для итоговой (государственной итоговой) аттестации включает: - перечень компетенций, которыми должны овладеть обучающиеся в результате освоения программы; - описание показателей и критериев оценивания компетенций, а также шкал оценивания; - типовые контрольные задания или иные материалы, необходимые для оценки результатов освоения программы; - методические материалы, определяющие процедуры оценивания результатов освоения образовательной программы. Развитие системы сертификации квалификаций выпускников, практики сертификации ФОС.

Предлагаемый раздел ОП (с учетом ПрООП) Нормативно-методическое обеспечение оценки качества освоения обучающимися образовательной программы: 1. Фонд оценочных средств (как приложение к РПД, ПП, КР) Обеспечивает проведение аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям ОП. Содержит: краткое описание форм и процедур текущего контроля успеваемости и промежуточной аттестации по учебной дисциплине (модулю, практике); паспорт фонда оценочных средств по учебной дисциплине (модулю, практике); контрольные вопросы и типовые задания для практических и лабораторных занятий, контрольных работ, коллоквиумов, зачетов и экзаменов; тесты и компьютерные тестирующие программы; примерную тематику курсовых работ / проектов, рефератов; иные формы контроля. Информация доводится до сведения обучающихся в сроки, определенные локальным нормативным актом организации.

Предлагаемый раздел ОП (с учетом ПрООП) 2. Фонд оценочных средств для проведения итоговой (государственной итоговой) аттестации Содержит перечень видов (форм) ГИА, требования к содержанию, объему и структуре ВКР, требования к содержанию и процедуре проведения государственного экзамена (при наличии), ссылки на имеющиеся нормативные документы и методические издания. 3. Другие нормативно-методические материалы, обеспечивающие качество подготовки обучающихся по ОП Содержит описание систем и процедур оценки результатов (например, БРС) в случае их использования в учебном процессе. Может быть дополнен матрицей соответствия компетенций, составных частей ООП и оценочных средств (шаблон). Включает также методические рекомендации преподавателям по разработке системы оценочных средств и технологий проведения текущего контроля, промежуточной и итоговой аттестации.

Разработка ФОС: проблемы и вопросы Проблема оценки результата в формате компетенций: - глубоко лежащие устойчивые поведенческие характеристики личности, прогнозирующие эффективность ее деятельности и отличающиеся от знаний, умений и навыков; - имеют полидисциплинарный характер (дисциплинарная структура ОП на практике преобладает); - отсроченный характер их проявления в деятельности; - должны оцениваться с помощью специальных измерителей и многомерного шкалирования, методов интеграции аттестационных баллов по различным количественным и качественным шкалам. Вопросы разработки ФОС и организации работ в части оценки результатов освоения ООП в образовательной организации: - построение модели; - привлечение работодателей и специалистов по оценке; - создание централизованных структур организации.

Разработка ФОС: проблемы и вопросы Отсутствие рекомендаций на федеральном уровне Вузы самостоятельны в выборе вариантов при разработке основных компонентов система оценки результатов освоения образовательной программы на основе ФГОС. Пример: уровни освоения (минимальный, базовый, высокий) и шкалы оценки компетенций: качественные (шкала наименований, порядковая); количественные (интервальная, шкала отношений). Проблема объективности измерения результатов. Надежность и валидность результатов измерений. Пример: уровни освоения компетенций и виды оценочных средств (минимальный – тест для проверки знаний и умений, необходимых для выполнения должностных обязанностей; базовый – компетентностные тесты или тесты практической деятельности в профессиональной области; высокий – задания в форме кейса проблемного характера).

Разработка ФОС: проблемы и вопросы Необходимые условия o наличие в планируемых результатах профессиональных компетенций, согласованных и одобряемых работодателями, профессиональным сообществом; o наличие измерительных материалов/инструментов и процедур для оценки профессиональных компетенций, привлечение к их разработке (участию в оценке) работодателей; o наличие различных форм вовлечения студентов в профессиональную деятельность в рамках учебного процесса, организация полноценных практик студентов; o использование образовательных технологий, адекватных формированию задаче профессиональных компетенций.

Разработка ФОС: проблемы и вопросы Алгоритм разработки ФОС (М.Б. Челышкова): 1. Анализ профессиональных компетенций ФГОС и построение профессионального профиля на основе квалификационных требований или профессиональных стандартов. 2. Выделение ядра профиля профессиональной деятельности посредством установления связи каждой компетенции ФГОС с квалификационными требованиями. 3. Представление каждой компетенции в форме признаков проявления по нескольким диапазонам на языке квалификационных требований или профессиональных стандартов. 4. Выделение дисциплин, на основе которых формируются данные признаки. 5. Разработка содержания измерителей и компетентностно- ориентированных заданий. Разработка паспортов компетенции в соотношении с ФОС с ориентацией на уровни достижения результатов.

Ведущие разработки (лучшие практики) Методология TUNING компетенция и результат обучения компетенция как интегральная категория; результаты обучения как элементы компетенций, «привязанные» к конкретным составляющим учебного плана; декомпозиция компетенций в логике результата (из каких конкретных измеряемых результатов обучения складывается компетенция); определение дисциплин, модулей, практик, обеспечивающих достижение данных результатов; определение степени освоенности этих результатов; выбор средств оценки достижения данных результатов; итоговая аттестация (от результата к компетенции) что оцениваем? что измеряем? как? новые формы выполнения ВКР; соотнесение компетенций и инновационных форм проведения итогового (государственного) экзамена;

Ведущие разработки (лучшие практики) особые оценочные средства, позволяющие оценить комплексное и активное владение интегральными результатами обучения; o уровни освоения компетенций (дублинские дескрипторы). Серия публикаций «Ключевые ориентиры для разработки и реализации образовательных программ в предметной области» (АКУР, МГУ, европейские и российские университеты): o Информационно-коммуникационные технологии o Экономика и менеджмент o Образование o Иностранные языки (Перевод и переводоведение) o Юриспруденция o Социальная работа o Туризм

Ведущие разработки (лучшие практики) М.Б. Челышкова, В.И. Звонников (ГУУ). Создание межвузовского банка компетентностно-ориентированных оценочных средств по базовым профессиональным дисциплинам («Менеджмент», ГМУ). А.Н. Масленников (презентация концепции на сайте Рособрнадзора). Научно-методические разработки и рекомендации: Московского государственного университета (В.А. Богословский, Е.В. Караваева, Е.Н. Ковтун, О.П. Мелехова и др.); Института качества высшего образования НИТУ МИСИС (В.И. Байденко, Н.А. Селезнева, И.А. Зимняя, М.Б. Челышкова и др.); Федерального института развития образования (ФИРО); Федерального института педагогических измерений (ФИПИ) и Российского государственного гуманитарного университета (РГГУ); Учебно-методических объединений (научно-методических советов) по профилю реализуемых образовательных программ. Опыт российских вузов (материалы доступны на сайтах).