Докладчик : Зам. проректора по учебной работе О. П. Корольков Создание фондов оценочных средств как способа проверки качества реализации основных профессиональных образовательных программ

Компетенция, права, обязанности и ответственность образовательной организации ( ст.28 ФЗ « Об образовании в РФ ») П.3. К компетенции образовательной организации в установленной сфере деятельности относятся : 6) разработка и утверждение образовательных программ образовательной организации ; 10) осуществление текущего контроля успеваемости и промежуточной аттестации обучающихся, установление их форм, периодичности и порядка проведения ; 11) индивидуальный учет результатов освоения обучающимися образовательных программ, а также хранение в архивах информации об этих результатах на бумажных и ( или ) электронных носителях ; 13) проведение самообследования, обеспечение функционирования внутренней системы оценки качества образования ; П.6. Образовательная организация обязана осуществлять свою деятельность в соответствии с законодательством об образовании, в том числе : 1) обеспечивать реализацию в полном объеме образовательных программ, соответствие качества подготовки обучающихся установленным требованиям, соответствие применяемых форм, средств, методов обучения и воспитания возрастным, психофизическим особенностям, склонностям, способностям, интересам и потребностям обучающихся ;… П.7. Образовательная организация несет ответственность в установленном законодательством Российской Федерации порядке за невыполнение или ненадлежащее выполнение функций, отнесенных к ее компетенции, за реализацию не в полном объеме образовательных программ в соответствии с учебным планом, качество образования своих выпускников, а также за жизнь и здоровье обучающихся, работников образовательной организации …

Требования ФГОС п.8.1. Высшее учебное заведение обязано обеспечивать гарантию качества подготовки, в том числе путем : разработки стратегии по обеспечению качества подготовки выпускников с привлечением представителей работодателей ; мониторинга, периодического рецензирования образовательных программ ; разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников ; обеспечения компетентности преподавательского состава ; регулярного проведения самообследования по согласованным критериям для оценки деятельности ( стратегии ) и сопоставления с другими образовательными учреждениями с привлечением представителей работодателей ; информирования общественности о результатах своей деятельности, планах, инновациях. Европейские стандарты и рекомендации для внутренней гарантии качества в вузах ( ENQA )

ENQA п.1.2. Утверждение, мониторинг и периодическая оценка программ и квалификаций. Соответственно включает : - Разработку и публикацию запланированных результатов обучения ; - Постоянный контроль над разработкой УП, составлением и содержанием ОП ; - Специфические требования, предъявляемые к различным видам обучения и типам высшего образования ; - Доступность соответствующих ресурсов обучения ; - Официальные процедуры по утверждению программ сторонними органами ; - Мониторинг успеваемости и достижений студентов ; - Периодическая оценка программ ( включая внешнюю экспертизу ); - Постоянное взаимодействие с работодателями, представителями рынка труда и другими организациями ; - Участие студентов в процедурах гарантии качества. п.1.3. Оценка уровня знаний студентов. Студенты должны оцениваться с помощью последовательных процедур на основе опубликованных общепринятых критериев и положений. п.1.6. Система информирования. Образовательные учреждения должны проводить сбор, анализ и распространение важной информации и использование ее для эффективного управления программами обучения и других видов деятельности.

Требования ФГОС п.8.4. Для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей ООП ( текущая и промежуточная аттестация ) создаются фонды оценочных средств, включающие типовые задания, контрольные работы, тесты, позволяющие оценить знания, умения и уровень приобретенных компетенций. Фонды оценочных средств разрабатываются и утверждаются вузом. Вузом должны быть созданы условия для максимального приближения программ текущего контроля успеваемости и промежуточной аттестации обучающихся к условиям их будущей профессиональной деятельности – для чего, кроме преподавателей конкретной дисциплины, в качестве внешних экспертов должны активно привлекаться работодатели, преподаватели, читающие смежные дисциплины. п.8.6. Итоговая государственная аттестация включает защиту бакалаврской выпускной квалификационной работы. Государственный экзамен вводится по усмотрению вуза. Требования к содержанию, объему и структуре выпускной квалификационной работы (бакалаврской работы), а также требования к государственному экзамену (при наличии) определяются высшим учебным заведением.

ФОС дисциплины ( модуля ), практики п.21. ФОС для проведения промежуточной аттестации обучающихся по дисциплине ( модулю ) или практике, входящий в состав соответственно рабочей программы дисциплины ( модуля ) или программы практики, включает в себя : перечень компетенций с указанием этапов их формирования в процессе освоения ОП ; описание показателей и критериев оценивания компетенций на различных этапах их формирования, описание шкал оценивания ; типовые контрольные задания или иные материалы, необходимые для оценки знаний, умений, навыков и ( или ) опыта деятельности, характеризующих этапы формирования компетенций в процессе освоения образовательной программы ; методические материалы, определяющие процедуры оценивания знаний, умений, навыков и ( или ) опыта деятельности, характеризующих этапы формирования компетенций. Для каждого результата обучения по дисциплине ( модулю ) или практике организация определяет показатели и критерии оценивания сформированности компетенций на различных этапах их формирования, шкалы и процедуры оценивания. ( Приказ Министерства образования и науки РФ от Об утверждении порядка организации и осуществления образовательной деятельности по программам бакалавриата, программам специалитета, программам магистратуры )

ФОС ИГА п.22. ФОС для итоговой ( государственной итоговой ) аттестации включает в себя : перечень компетенций, которыми должны овладеть обучающиеся в результате освоения образовательной программы ; описание показателей и критериев оценивания компетенций, а также шкал оценивания ; типовые контрольные задания или иные материалы, необходимые для оценки результатов освоения образовательной программы ; методические материалы, определяющие процедуры оценивания результатов освоения образовательной программы. ( Приказ Министерства образования и науки РФ от Об утверждении порядка организации и осуществления образовательной деятельности по программам бакалавриата, программам специалитета, программам магистратуры )

Мониторинг успеваемости и достижений студентов Полная оценка компетенций выпускника осуществляется на итоговой государственной аттестации. В процессе же текущего контроля успеваемости и промежуточной аттестации, как правило, проводится оценивание более локальных результатов обучения – компонентов компетенций ( знаний, умений, навыков по дисциплинам или модулям ООП ).

Фонд оценочных средств - Под фондом оценочных средств ( ФОС ) основной образовательной программы понимается комплект методических материалов, предназначенных для аттестации обучающихся на разных этапах обучения, а также для итоговых испытаний выпускников на соответствие уровня их подготовки требованиям соответствующего образовательного стандарта по завершению освоения основной образовательной программы по определенному направлению подготовки / специальности ( п.1.3. Приложение к Приказу от ) - Под оценочным средством ( ОС ) понимается средство контроля результатов обучения, предназначенн ое для проверки усвоения знаний и умений, выявления уровня сформированности компетенций или их компонентов, содержащее также описани е критериев оценивания, форм и процедур проведения оценки ( п.4.1. Приложение к Приказу от ) Оценочные средства Разработанные вузом, для оценки достижений обучающихся и выпускников. Разработанные организациями, осуществляющими независимую оценку качества образования.

Виды оценочных средств Деловая и / или ролевая игра Доклад, сообщение Доклад, сообщение Кейс - задача Коллоквиум Контрольная работа Контрольная работа Круглый стол, дискуссия, полемика, диспут, дебаты Кафедральный просмотр Портфолио Проект Рабочая тетрадь Разноуровневые задачи и задания Разноуровневые задачи и задания Расчетно - графическая работа Реферат Собеседование Творческое задание Творческое задание Тест Тренажер Эссе

… … Разработка ФОС ПсковГУ 1.1. Разработка КОС текущего контроля успеваемости 1.2. Разработка КОС для промежуточной аттестации Зав. кафедрой, ППС ППС ( ст.50 ФЗ « Об образовании в РФ ») 2. Разработка ФОС ОПОП 2.1. Формирование рабочей группы для разработки ФОС Руководитель ОПОП, декан 2.2. Разработка паспорта ФОС ОПОП, матрицы соответствия ОС и компетенций, программы промежуточной аттестации Рабочая группа 2.3. Формирование ФОС ОПОП из КОС по дисциплинам ( модулям ), практикам для промежуточной и ИГА 2.4. Экспертиза ФОС ОПОП 2.5. Утверждение ФОС ОПОП на УС факультетов 4. Использование ФОС ОПОП 3. Хранение ФОС ОПОП 5. Обновление ФОС ОПОП Эксперты УС факультетов ППС Рук. ОПОП, Рук. ЦОСиОТ Рабочая группа - КОС : раздел РПД раздел РПП УМД кафедры - ФОС ОПОП : раздел ОПОП паспорт ФОС матрица соответствия - Заключение экспертизы. - Решение УС факультетов 3. Отчеты об использовании ФОС ОПОП Банк ФОС ОПОП Банк ФОС ОПОП Банк КОС Дисциплины ( модуля ), практики Банк КОС Дисциплины ( модуля ), практики Требования к ОПОП ; Утвержденные ОПОП ; Положение о ФОС. Банк ФОС ОПОП 2 Банк ФОС ОПОП 2 Банк ФОС ОПОП 1 Банк ФОС ОПОП 1 Банк ФОС университета 1. Разработка КОС по дисциплине ( модулю ), практике ППС

Банк ФОС Банк КОС Дисциплины ( модуля ), практики Банк КОС Дисциплины ( модуля ), практики Банк ФОС ОПОП Банк ФОС ОПОП Банк ФОС университета Банк ФОС университета КОС текущего контроля КОС промежуточной аттестации Открытый банк КОС ФОС промежуточной аттестации Дисциплинарные ОС Полидисциплинарные ОС Наддисциплинарные ОС ФОС ИГА Открытый банк ОС Дисциплинарные ОС Полидисциплинарные ОС Наддисциплинарные ОС Открытый банк ОС ФОС реализуемых ПсковГУ ОПОП ФОС промежуточной аттестации ОПОП ФОС ИГА ОПОП Открытый банк ОС ОПОП Банк КОС кафедры по дисциплине ( модулю ), практике ОПОП Хранится на соответствующей кафедре Хранится на соответствующей кафедре и в электронном виде в ЦОСиОТ

Фонд оценочных средств ( уровни использования ФОС ) I. Уровень университета : совокупность фондов оценочных средств образовательных программ ( ФОС образовательной организации ); II. Уровень образовательной программы : база данных ОС по конкретному направлению и профилю подготовки для текущей, промежуточной аттестации обучающихся и итоговой государственной аттестации выпускников по ОПОП ; III. Уровень учебной дисциплины ( модуля ), практики : комплект ОС для организации проверки усвоения знаний и умений, выявления уровня сформированности компетенций или их компонент ( входной и текущий контроль успеваемости, промежуточная аттестация ) по отдельным рабочим программ учебных дисциплин, модулей, практик.

Использование ФОС ОПОП Мониторинг качества реализации ОПОП ( текущий контроль успеваемости по дисциплине ( модулю ), практике ; промежуточная аттестация ; итоговая государственная аттестация ); Внутренний аудит качества реализации ОПОП ( в соответствии с Положением « О внутривузовской системе оценки качества ООП » ФГБОУ ВПО ПсковГУ от ); Лицензирование новых ОПОП ( ст.2 ФЗ « Об образовании в РФ »; п.17 в ) « Положения о лицензировании образовательной деятельности », утв. Постановлением правительства РФ от ) Государственная аккредитационная экспертиза ; Государственный контроль ( надзор ) в сфере образования ; Общественная аккредитационная экспертиза ; Профессионально - общественная аккредитационная экспертиза. Внешняя экспертиза

Государственное управление деятельности образовательной организации 1) лицензирование образовательной деятельности ; 2) государственную аккредитацию образовательной деятельности ; 3) государственный контроль ( надзор ) в сфере образования. ФЗ « Об образовании в РФ » п.2 ст.90

Государственное управление деятельности образовательной организации Государственный контроль в сфере образования – деятельность по оценке соответствия образовательной деятельности и подготовки обучающихся в организации, осуществляющей образовательную деятельность по имеющим государственную аккредитацию ОП, требованиям ФГОС посредством организации и проведения проверок качества образования и принятия предусмотренных законодательством РФ мер по пресечению и устранению выявленных нарушений требований ФГОС. Государственный надзор в сфере образования – деятельность, направленная на предупреждение, выявление и пересечение нарушения органами государственной власти субъектов РФ, осуществляющими государственное управление в сфере образования, и органами местного самоуправления, осуществляющими управление в сфере образования, и организациями, осуществляющими образовательную деятельность, требований законодательства об образовании посредством организации и проведения проверок органов и организаций, принятия предусмотренных законодательством РФ мер по пресечению и ( или ) устранению последствий выявленных нарушений таких требований.

Критерии выбора образовательной организации для проведения надзора и контроля I.Образовательная организация находится в списке неэффективных по результатам мониторинга Минобрнауки. II.У образовательной организации имеются неисполненные предписания по результатам проверки. III.Если хотя бы один общевузовский показатель характеризует низкое качество образовательного процесса. IV.Если по результатам анализа 30% ОПОП вуза имеют показатели, характеризующие низкое качество образовательного процесса. Для проведения углубленной экспертизы отбираются, в первую очередь, ОП с минимальным количеством обучающихся по сравнению с другими программами в вузе.

Хранение и использование ФОС Элементы ФОСППС Кафедра Рук. ОПОП ФакультетГЭК Внешняя экспер - тиза Уровень ПсковГУ ЦОСиОТ Уровень учебной дисциплины ( модуля ), практики Док. В составе РПД, РППБ/ЭБ/ЭЭЭ Банк КОС Текущего контроляБ/ЭБ/ЭЭ Промежуточной аттестацииБ/ЭБ/ЭБ/ЭБ/ЭЭЭБ/ЭБ/Э Открытый банк КОСЭБ/ЭБ/ЭЭЭЭ Уровень ОПОП Док. ОПОПЭБ/ЭБ/ЭЭЭБ/ЭБ/ЭЭ Паспорт ФОС, Матрица соответствия ЭБ/ЭБ/ЭЭЭБ/ЭБ/ЭЭ Заключение экспертизы и решение УС факультетов Б/ЭБ/ЭЭЭБ/ЭБ/ЭЭ Банк ФОС ФОС промежуточной аттестации ЭБ/ЭБ/ЭЭБ/ЭБ/ЭЭ ФОС ИГАБ/ЭБ/ЭЭБ/ЭБ/ЭБ/ЭБ/ЭЭ Открытый банк ФОС ОПОПЭЭБ/ЭБ/ЭЭЭЭЭ Б – бумажный носитель, Э – электронный носитель - хранение, - использование.

Хранение ФОС ФОС ОПОП : раздел ОПОП паспорт ФОС матрица соответствия Заключение экспертизы. Решение УС факультетов. Банк ФОС ОПОП Локальная сеть Сеть Интернет Файловый сервер Система документооборота Библиотечная система Сайт ПсковГУ ( в разделе ОПОП ) Каталог ЭОР СДО Moodle Облачные сервисы Локальная сеть Сеть Интернет Test Maker Unitest7 ACT- тест СДО Moodle Проекты НИИ « Мониторинга качества образования » СДО Moodle Документы ( в формате doc, pdf и др.), бланковые ОС Тест - тренажер Тест - конструктор Диагностическое тестирование ФЭПО ОС для автоматизированного контроля, в тестовых оболочках

Разработка и реализация ФОС ОПОП в СДО Moodle Возможности СДО Moodle ФОС ОПОП Организация обсуждения ( форум, чат, вики ) Организация хранения файлов проекта (doc, rtf, pdf, xls, jpeg, zip и др.) Доступ к курсу групп пользователей ( администратор, разработчик, пользователь, гость ) Доступ к курсу групп пользователей ( администратор, разработчик, пользователь, гость ) Обмен сообщениями ( служба сообщений, рассылка по ) Создание банков тестовых заданий Создание ресурсов проекта ( информационных, интерактивных ) Разработка ФОС ОПОП ( организация работы групп разработчиков ) Размещение ФОС ОПОП ( паспорт, матрицы соответствия ОС и компетенций, программы промежуточной аттестации ) Банк ФОС ОПОП Открытый банк ФОС ОПОП Календарь работы над проектом ( планирование работ, установление сроков ) Организация тестирования на основе тестовых заданий из банка тестовых заданий Организация работы с электронными версиями ОС ( размещение, журнал оценки ) Организация работы ФОС ОПОП обучающихся СДО Moodle это : - Интерактивная площадка для разработки ФОС ОПОП ; - Портал для размещения ресурсов ФОС ОПОП ; - Электронная версия КОС для знакомства и организации контроля обучающихся и выпускников ; - Структурная единица электронного ФОС университета.

Разработка ОС в СДО Moodle Система дистанционное обучение ( СДО ) совокупность технологий, обеспечивающих доставку обучаемым основного объема изучаемого материала, интерактивное взаимодействие обучаемых и преподавателей в процессе обучения, предоставление обучаемым возможности самостоятельной работы по освоению изучаемого материала, а также в процессе обучения. Модус ( анг. Moodle) – модульная объектно - ориентированная динамическая обучающая оболочка, позволяет формировать и размещать образовательный контент в интерактивной форме. Размещение учебно - методических материалов и организация работы с ними ; Создание интерактивных элементов « лекция », « практическое задание », « упражнение », « форум » и др.; Оценка деятельности обучающихся с использованием интерактивных элементов ; Создание баз тестовых заданий и организация тестирования.

База тестовых заданий Moodle Возможность формировать базу тестовых заданий, которые потом могут использоваться в различных тестах. Тестовые задания можно структурировать по категориям для более удобной работы. Возможность определять различные ограничения по работе с тестом ( время выполнения, количество попыток, пароль на доступ и др.) Создавать тестовые задания с комментариями как к отдельным ответам, так и ко всеми тесту в зависимости от различных условий. Как тестовые задания, так и варианты ответов могут автоматически перемешиваться при каждой новой попытке. Как вопросы, так и варианты ответов могут содержать HTML, картинки и пр. Возможность получить подробную информацию об ответах обучающихся и затрачиваемом ими времени. Существует возможность статистического анализа выполнения тестовых заданий. Поддерживаются вопросы следующих типов : В закрытой форме ( множественный выбор ), Верно / Неверно ; В открытой форме ( короткий ответ, числовой ); На соответствие ; Вычисляемый ; Эссе ( оценивается преподавателем ); Вложенные ответы ; Случайные вопросы.

Семинар, посвященный работе в СДО Moodle Тема : Разработка баз тестовых заданий в СДО Moodle. Цель : Знакомство с возможностями СДО для создания баз тестовых заданий по дисциплинам ( модулям ), практикам. Слушатели : педагогические работники университета.

План работ по созданию ФОС ОПОП 1. Создание рабочих группы для формирования ФОС ОПОП 2. Формирование и организация хранения КОС по дисциплинам ( модулям ), практикам на кафедре 3. Подготовка ФОС ОПОП 4. Предварительный аудит с целью проверки хода формирования ФОС ОПОП 5. Аудит ФОС ОПОП 6. Экспертиза ФОС ОПОП 7. Утверждение ФОС ОПОП на УС факультетов 8. Доступность открытых банков ФОС ОПОП год 2015 год

Независимая оценка качества образования Независимая оценка качества образования, наряду с общественной и общественно-профессиональной аккредитацией, является основным элементом управления системы образования (ФЗ «Об образовании в РФ» п.2.7, ст.89). п.1. Независимая оценка качества образования осуществляется в отношении организаций, осуществляющих образовательную деятельность, и реализуемых ими образовательных программ в целях определения соответствия предоставляемого образования потребностям физического лица и юридического лица, в интересах которых осуществляется образовательная деятельность, оказания им содействия в выборе организации, осуществляющей образовательную деятельность, и образовательной программы, повышения конкурентоспособности организаций, осуществляющих образовательную деятельность, и реализуемых ими образовательных программ на российском и международном рынках. п.6. Результаты независимой оценки качества образования не влекут за собой приостановление или аннулирование лицензии на осуществление образовательной деятельности, приостановление государственной аккредитации или лишение государственной аккредитации в отношении организаций, осуществляющих образовательную деятельность. (ФЗ «Об образовании в РФ» ст.95)

Независимая оценка качества образования ПсковГУ Организация независимой оценки качества образования на основе аккредитационных педагогических измерительных материалов(АПИМ) НИИ «Мониторинга качества образования» ( ). -Интернет-тестирование студентов университета на основе АПИМ по базовым дисциплинам ОПОП СПО и ВПО; -Сравнительный педагогический анализ результатов независимой оценки качества образования ПсковГУ с результатами других вузов-участников проекта; - Мониторинг результатов Интернет-тестирования. Основные направления оценки качества образования

ФЭПО : модель оценки результатов обучения Выделены следующие уровни результатов обучения студентов. Первый уровень. Результаты обучения студентов свидетельствуют об усвоении ими некоторых элементарных знаний основных вопросов по дисциплине. Допущенные ошибки и неточности показывают, что студенты не овладели необходимой системой знаний по дисциплине. Второй уровень. Достигнутый уровень оценки результатов обучения показывает, что студенты обладают необходимой системой знаний и владеют некоторыми умениями по дисциплине. Студенты способны понимать и интерпретировать освоенную информацию, что является основой успешного формирования умений и навыков для решения практико-ориентированных задач. Третий уровень. Студенты продемонстрировали результаты на уровне осознанного владения учебным материалом и учебными умениями, навыками и способами деятельности по дисциплине. Студенты способны анализировать, проводить сравнение и обоснование выбора методов решения заданий в практико-ориентированных ситуациях. Четвертый уровень. Студенты способны использовать сведения из различных источников для успешного исследования и поиска решения в нестандартных практико-ориентированных ситуациях. Достигнутый уровень оценки результатов обучения студентов по дисциплине является основой для формирования общекультурных и профессиональных компетенций, соответствующих требованиям ФГОС.

Алгоритм определения достигнутого уровня обученности для студента Объект оценки Показатель оценки результатов обучения студента Уровень обученности Студент Менее 70% баллов за задания каждого из блоков 1, 2 и 3 1 Не менее 70% баллов задания блока одного из блоков 2 Не менее 70% баллов за задания каждого из двух блоков 3 Не менее 70% баллов за задания каждого из блоков 1, 2 и 3 4

Диаграмма распределения результатов обучения студентов вуза и вузов - участников по уровням обученности ( по программам ВПО )

Диаграмма распределения результатов обучения студентов вуза и вузов - участников по уровням обученности ( по программам СПО )

Диаграмма распределения результатов тестирования студентов по уровням обученности ( последняя сессия ФЭПО 18) 16% 27% 28% 29% 71% 23% 28% 24% 25% 75% ПсковГУ Вузы-участники программы ВПО программы СПО Уровни 44% 29% 20% 7%7% 93% 75% 23% 28% 24% 25% Уровень обученности не ниже второго составляет

Результаты независимой оценки качества образования

СПАСИБО ЗА ВНИМАНИЕ!