УГМА Кузина Л.Л.1. ПРОЕКТИРОВАНИЕ И ПРИМЕНЕНИЕ ТЕХНОЛОГИИ ДИАГНОСТИРОВАНИЯ КОМПЕТЕНЦИЙ Обзорная лекция начальник УСМК Кузина Л.Л. - презентация

1 УГМА Кузина Л.Л.1

2 ПРОЕКТИРОВАНИЕ И ПРИМЕНЕНИЕ ТЕХНОЛОГИИ ДИАГНОСТИРОВАНИЯ КОМПЕТЕНЦИЙ Обзорная лекция начальник УСМК Кузина Л.Л.

3 Содержание занятия 1. Введение в проблему 2. Как контролировать и оценивать результаты обучения (компетенции) 3. Фонды оценочных средств 4. Подходы к оцениванию компетенций 5. Технология оценивания результатов обучения, компетенций 6. Подведение итогов работы УГМА Кузина Л.Л.3

4 4

5 Противоречия Необходимость реализации компетентностного подхода Требования к качеству подготовки выпускников вузов Необходимость вовлечения всех субъектов в процесс обеспечения качества Отсутствие диагностического инструментария Недостаточность научно- обоснованного управления качеством Низкий уровень подготовленности к данной деятельности УГМА Кузина Л.Л.5

6 Педагогическая проблема В условиях компетентностного подхода необходим новый инструментарий педагогических измерений и диагностики Описание фондов оценочных средств в рекомендациях разработчикам ООП сводится к перечню примерных экзаменационных вопросов, тематике рефератов и др. Аналогичные примеры программ для УГМА УГМА Кузина Л.Л. 6

7 УрФУ ФПКП Кузина Л.Л.7 Диагностика, контроль и оценка Диагностика компетенций в образовательном процессе – систематическое накопление и анализ информации о развитии процесса обучения с целью управления, сложный процесс, состоящий из многих действий, включая: – планирование – подготовку студента – организацию сбора достаточных и объективных свидетельств о качестве подготовки – выработку рекомендаций обучающемуся

8 Виды и уровни контроля и оценки Внешняя экспертиза - процедуры аккредитации - участие в Конкурсах, Премиях… Внутренняя оценка качества подготовки – уровень вуза – уровень кафедры – уровень преподавателя – уровень студента УГМА Кузина Л.Л.8

9 Традиционные формы контроля Контрольная работа Индивидуальное собеседование Коллоквиум Зачет Переводные и семестровые экзамены Защита курсового проекта Квалификационные испытания Государственные экзамены Защита дипломного проекта Комплексный экзамен по специальности УГМА Кузина Л.Л.9

10 Экспертно-оценочные технологии Технология рейтинга учебных достижений Технология создания оценочных материалов для ИГА Технология оценки уровня сформированности компетенций Технологии оценки качества обучения ВЫВОД: требуется расширение функций преподавателя (проектировочная, управленческая и …) УГМА Кузина Л.Л.10

11 Связь понятий УГМА Кузина Л.Л.11 контроль обратная связь в управлении на основе проверки и оценки диагностика педагогический контроль проверка и оценивание результатов анализ результатов и представление их в виде, необходимом для управления Обеспечение по глоссарию ИСО: это деятельность, направленная на создание уверенности в том, что требования к качеству будут выполнены: целевой отбор критериев качества; разработка модели и средств оценивания

12 СОЦИАЛЬНЫЙ ЗАКАЗ ГОС/ФГОС ВПО, РАБОТОДАТЕЛИ ПОТРЕБНОСТИ ЛИЧНОСТИ КВАЛИТАТИВНОЕ УПРАВЛЕНИЕ ПРОЦЕССОМ ОБУЧЕНИЯ СТУДЕНТОВ ВУЗА СИСТЕМА КОНТРОЛЬНО-ДИАГНОСТИЧЕСКОГО ОБЕСПЕЧЕНИЯ ЦЕЛЕВОЙ КОМПОНЕНТ ИНФОРМАЦИОННО-МЕТОДИЧЕСКИЙ КОМПОНЕНТ ДЕЯТЕЛЬНОСТНЫЙ КОМПОНЕНТ Организация диагностирования Подготовка к диагностированию ПЕДАГОГ СТУДЕНТ РЕФЛЕКСИВНО-КОРРЕКЦИОННЫЙ КОМПОНЕНТ КАЧЕСТВО ПОДГОТОВКИ СТУДЕНТОВ ВУЗА ПЕДАГОГИЧЕСКИЕ УСЛОВИЯ УПРАВЛЕНИЯ ПРОЦЕССОМ ОБУЧЕНИЯ УГМА Кузина Л.Л. 12

13 Фонды оценочных средств Главные требования к ФОС: Должны быть признаваемы внешними экспертами при аккредитации Должны демонстрировать свою жизнеспособность и эффективность Вывод: вузам создать Положение о ФОС (процедуры разработки, утверждения, экспертизы на качество, обновления, …) УГМА Кузина Л.Л.13

14 Проектирование ФОС Этапы проектирования: 1. Подготовительный этап Создание определить диагностируемые компетенции и представить их в виде уровней (дескрипторные описания) по нарастанию к окончанию обучения Можно применить процедуру «свертывание» нескольких компетенций в одну – комплексную компетенцию УГМА Кузина Л.Л.14

15 Продолжение Провести ревизию прежних оценочных средств 2. Проектирование комплексных заданий для оценки уровня сформированности компетенций: Практико ориентированные задания (КОЗ) с образцами правильных ответов Система снижения баллов за ошибки Шкала оценивания заданий и компетенций Таксономия целей (результатов) обучения УГМА Кузина Л.Л.15

16 16 Виды профессиональной деятельности: Выделенные профессиональные задачи Оценка сформированности компетенции (уровневая, по коэффициенту подготовленности) К = Факт/Макс, 0 < К < 1 Практико-ориентированные задания-измерители, соответствующие категориям таксономии Оценка трудности заданий в баллах: 1, 2, 3, 4 экспертным методом. Эталоны ответов заданий Контрольная процедура диагностирование, наблюдения Выделение актуальных проф. задач и компетенций. Методы: экспертные, свертывания, обобщения К 0,7 0,78 0,87 1,0 Низкий Средний Повышенный Высокий уровень ПОРОГОВЫЙ «удовл» «хорошо» «отлично» ШКАЛА уровней подготовленности Таксономия учебных целей Таксономия Б. Блума: знание, понимание, применение знаний, анализ, синтез, оценка К1 К2 К3 К4 К5 К6 ЗАКЛЮЧЕНИЕ: многопараметрическая, интегрированная, уровневая оценка профессиональной подготовленности студентов Дисциплины по уч. плану Социальный заказГОС ВПО / ФГОС ВПООпрос работодателей Оценивание качества подготовки студентов Кузина Л.Л.

17 Алгоритм контрольно-оценочной деятельности УГМА Кузина Л.Л. 17 Цели диагностики: оценка уровня освоения знаний, умений и компетенций Выбор типа, вида, форм контроля Выбор вида таксономии учебных целей Определение критериев, показателей и уровней подготовленности Создание банка заданий-измерителей на основе выбранной таксономии Разработка комплексного задания с эталонами ответов и методиками самооценки Организация и проведение контрольных процедур, обработка результатов Проверка комплексного задания на валидность и надёжность, его доработка Анализ результатов подготовленности со студентами, рефлексия Планирование корректирующих, управляющих действий, постановка новых целей

18 УрФУ ФПКПиПП Кузина Л.Л.18 Виды классификаций целей Мелецинек А. БеспалькоВ.П. Байденко В.И.Татур Ю.Г. «Направляющие цели» - уровень УД Глобальная цель - социальный заказ Цели общества Глобальные цели образования на уровне системы образования в целом «грубые» цели – для частей УД (курса) Цели вузовского уровня для ООП Общие образовательные цели Общие цели подготовки специалистов на уровне системы высшей школы «тонкие» цели – с конкретным занятием Цели кафедры – с ОП в рамках УД Цели учебного заведения Цели подготовки специалиста по конкретной ООП на уровне вуза (факультета) Цели курса Цели подготовки по УД на уровне кафедры Цели части курса Цели конкретных занятий Цели конкретных видов отдельных упражнений

19 УрФУ ФПКПиПП Кузина Л.Л.19 6 ступеней целей для когнитивной области (А.Мелецинек) 1Знать Способность запоминать выученный материал, воспроизводить факты, законы 2 Понимать смысл Способность усваивать суть учебного материала 3 Использовать Способность применять выученный материал в новых ситуациях на уровне «рутинных задач» 4 Анализировать Способность разделять материал на компоненты 5 Синтезировать Способность соединять отдельные элементы, формировать новые структуры для решения «не рутинных задач» 6 Оценивать Способность определять значимость материала с точки зрения известной цели

20 УрФУ ФПКПиПП Кузина Л.Л.20 Формулирование целей практическая работа Правило 1. Зафиксируйте уровни усвоения материала (результаты обучения) Правило 2. Укажите их в целях-нормах, применяя специально отобранные для этого глаголы-термины Пример: студент в результате освоения программы должен: -иметь представление (1 уровень); -уметь решать следующие типовые задачи … (2 уровень) и т. п.

21 УрФУ ФПКПиПП Кузина Л.Л.21 Контроль достижения запланированного результата Цель: оценка и управление результативностью Со стороны администрации Со стороны преподавателя Со стороны студента Модульно-рейтинговая форма контроля Мониторинг успешности обучения и воспитания Самооценка обучающихся Обоснованием корректирующих действий служит анализ величины и характера рассогласования между планами и достигнутым результатом.

22 УрФУ ФПКПиПП Кузина Л.Л.22 Роль самооценки студента Студент является полноправным субъектом управления процессом своего образования Именно студенту судить, состоялось достижение поставленных целей или нет. Правило: понятно описать и раскрыть сущность поставленных в образовательной программе целей. Анонимное анкетирование студентов будет служить опосредованному заключению о достигнутом результате.

23 Требования к комплексным заданиям Обеспечить: объективность контроля (письменная форма, эксперты) возможность оценки достигнутого уровня результатов обучения, компетенций от запланированного реализацию всех функций педагогического контроля: - обучающей, - развивающей, - мотивационной, - прогностической, - контролирующей УГМА Кузина Л.Л.23

24 Структура комплексного задания 1. Оцениваемые результаты обучения 2. Таксономия 3. Квалиметрические методы и шкала 4. Практико ориентированные задания- измерители, соответствующие таксономии 5. Образцы правильных ответов 6. Рекомендации студентам 7. Методика самооценки подготовленности УГМА Кузина Л.Л.24

25 Практико ориентированные задания-измерители демонстрация способностей студента применять знания, умения и проявлять личностные качества в различных условиях для решения нестандартных профессиональных задач степень трудности задания определяется в баллах, вычисляют относительный показатель К педагог и студенты наблюдают, оценивают действия, анализируют ошибки студент осуществляет самооценку на этапе подготовки к контрольным процедурам УГМА Кузина Л.Л.25

26 Комплексное задание для промежуточной аттестации Категория таксономии, критерий, коэффициент К Содержание заданий-измерителей Балл 1. Знание, объём знаний, КО 1. Опишите …2 2. Начертите схему…2 2. Понимание, глубина знаний, КГ 3. Поясните принцип работы…2 4. Изобразите вид кривой…2 3. Применение, способность применять знания, КПР 5. Предложите способ 3 6. Начертите схему и объясните…3 4. Анализ, способность к анализу ситуации, КА 7. Предложите план анализа 3 8. Проанализируйте свойства 3 5. Синтез, способность к синтезу, КС 9. Предложите варианты устройства Предложите вопросы 4 6. Оценка, способность к оценке процессов, КОЦ 11. Производственная ситуация:... Предложите методику оценки качества их работы Взаимооценка, самооценка 4 Максимальная сумма баллов 36 УГМА Кузина Л.Л.26 Комплексное задание для промежуточного контроля по Ми СИИиК

27 Результаты диагностики 1. Анализируются результаты индивидуальной и групповой успешности 2. Определяются трудные задания и темы, причины низких баллов 3. Определяется процент студентов, достигших и преодолевших пороговый уровень 4. Планируются корректирующие действия 5. Делаются прогнозы (прогностическими показателями являются трудные задания, требующие повышенного уровня мыследеятельности и системности знаний) УГМА Кузина Л.Л.27

28 УрФУ ФПКП Кузина Л.Л.28 Рекомендации для студентов: детализированы сосредоточены на образовательном процессе, а не на отметках связаны с целями и установленными критериями полезны и понятны студентам приняты студентами и к ним проявлено внимание используются студентами для улучшения процесса обучения

29 УрФУ ФПКП Кузина Л.Л.29 Для преподавателей: Контроль компетенций даёт обратную связь – информацию о степени освоения обучающимися необходимых компетенций. Эта информация позволяет управлять образовательным процессом. «Оценка компетенций – двигатель процесса образования» «Если Вы хотите изменить процесс обучения – измените процесс контроля компетенций»

30 УрФУ ФПКП Кузина Л.Л.30 Академия высшего образования Великобритании Установила условия проведения контроля, когда студенты лучше учатся: 1. На решение контрольных задач потрачено много времени и много усилий 2. Эти усилия потребовали распределять усилия по темам и неделям 3. Контрольные задания побуждают студентов к продуктивной активности 4. Контроль выражает понятные и высокие ожидания студентов

31 УрФУ ФПКП Кузина Л.Л.31 Оценка и контроль компетенций: Мотивирует к обучению, т.к. у обучаемых есть понимание их собственных достижений и недостатков Развивает способность планировать и достигать цели обучения Создает понимание важности оценки собственной работы Развивает способность эффективно управлять ресурсами и своим временем Развивает общее понимание того, что является хорошей работой

32 Благодарю за внимание! УГМА Кузина Л.Л.32