1 Принципы и методы оценки знаний и навыков студентов часть II Семинар-обучение «Инновационные технологии в медицинском образовании» Государственный медицинский университет Лектор: доцент Керимкулова Айман Сайлаубековна

2 Цели презентации Принимать более обоснованные решения по оценке Применять полученную информацию к вашему преподаванию Описать взаимосвязь между оценкой и процессом обучения Обсудить критерии эффективной оценки

Цели Описать методы оценки Связать методы оценки с пирамидой Миллера Содействовать изменениям и улучшению учебной программы Исполнить обязательства перед студентами, вузом и обществом в предоставлении знаний и объективной оценки их Содействовать исследованиям

Самостоятельный ответ Модифицированный вопрос-эссе (MEQ - Multiply Essay Questions) Сочинение (краткое и длинное) Практическое занятие Краткий ответ Моделирование ситуаций в письменном виде Знать Знать как Показать как Сделать

Устный экзамен Устный экзамен на произвольные вопросы. Устный экзамен на структурированные вопросы. Устный экзамен с письменными ответами. Устный экзамен с частичным разбором больного. Устный экзамен с полным разбором больного.

6 Модифицированный вопрос- эссе (MEQ - Multiply Essay Questions) Устный экзамен, студенту предлагается задание и прилагающийся к нему перечень вопросов на которые он должен ответить. Представляет собой решение задачи с последовательным раскрытием условий. Оценивается: –Умение собрать полную информацию о больном и его состоянии; –Взаимоотношения доктор- пациент; –Смог ли доктор понять все явные и скрытые проблемы пациента; –Ведение больного: тактика лечения, дальнейшее наблюдение, повторный визит; –Профилактика. Используется пятибалльная система оценок

7 Оценка практических навыков Лабораторные работы OSCE (со станциями проверки навыков) Мини-клинический экзамен –Продолжительный случай Ведение дневников Портфолио Клинические записи Наблюдение Другое Знать Знать как Показать как Сделать

Оценка навыков: сделать Непрямые методы –Анализ записей в истории болезни –Анализ записей о деятельности врача –Анализ выписанных рецептов Прямые методы –Клинический рейтинг –Стандартизованные пациенты –Оценка видеозаписей –Отзывы пациентов –Отзывы других студентов –Наблюдение за клинической работой –Мини-клинический экзамен……… Знать Знать как Показать как Сделать

Мини-клинический экзамен (Norcini, 1995) Краткое наблюдение за клинической работой с пациентом (10-20 минут) Устная оценка Заполнение стандартных форм Повторяется по крайней мере 4 раза разными экзаменаторами (см. Знать Знать как Показать как Сделать

Ниже требуемого уровня 1 2 Почти на требуемом уровне 3 Соответствует требуемому уровню 4 Выше требуемого уровня 5 6 ! # !# Мини-клинический экзамен

Удовлетворительное выполнение навыков Расспрос Физикальное обследование Профессионализм Клиническое мышление Навыки общения Организованность/эффективность Общая оценка ухода за больным ##

«Продолжительный случай» Используется в конце обучения по клиническим дисциплинам. Студент работает с реальным пациентом в течение 45 минут. Преподаватель наблюдает со стороны, выставляет оценку и предоставляет обратную связь. Это не совсем достоверный случай, т.к. нет стандартизации. Для увеличения достоверности необходимо провести несколько раз, в конце суммируется оценка.

13 Метод «тройного прыжка» - оценивается клиническое мышление, умение предвидеть клиническую ситуацию, способность определить требуемую дополнительно информацию и применить свои знания для решения проблемы пациента (3 раза в год). Метод многокомпонентной оценки Студенты проходят 3 этапа: 1 этап представляется стандартизированный пациент (может быть видеосъемка) или информация о клинической ситуации или показывают больного или прелагают описание анализа, рентгенограмму, ЭКГ. Устно или письменно объясняют ситуацию. Выясняют какая информация необходима дополнительно для постановки предварительного диагноза. 2 этап – через ч. Предоставляется время для сбора дополнительной информации на возникшие у него вопросы, включает работу в библиотеке и дальнейшая оценка состояния больного. 3 этап – работа с преподавателем, продолжение письменного или устного экзамена, проведение диф.диагноза, выбора тактики ведения и лечения больного.

Наблюдение за клинической работой Неоднократные прямые наблюдения за клинической работой студента, используя стандартные формы оценки, заполненные подходящим наблюдателем (клиницистом, медсестрой, другим студентом и т.д.) Знать Знать как Показать как Сделать

ОСКЭ Детализированное, фиксированное по времени шаговый опрос студентов, исключающий элемент субъективизма со стороны экзаменатора

ОСКЭ ОСКЭ стандартизирует как сами знания преподавателей, так и оценку знаний студентов устраняет субъективизм оценки способствует выработке автоматизма в выполнении врачебный манипуляций максимально приближает к реальной клинической ситуации мобилизует на быстрое решение проблемы

Методы оценки знаний

Планирование оценки: «Шаблон» Компетентности Время Методы преподавания Во время занятий / Вне занятий

МЕТОДЫ ОЦЕНКИ Все методы оценки имеют ограничения и ни один метод не может полностью оценить знания и навыки Рекомендуется использование нескольких методов оценки

Прогрессивное тестирование Результаты одного теста Faculty of Medicine Maastricht University

Mean correct scores on the Progress Test from a number of Maastricht student cohorts (black lines) and reference group of family physicians in training (blue line) Прогрессивное тестирование Тестирование в Maastricht Faculty of Medicine Maastricht University

Оценить успеваемость Оценить способности Выдача сертификата Перевод на следующий курс Обратная связь Определить уровень непонимания Определить сильные/ слабые стороны Изменить стиль преподавания Разработать план обучения Преподаватель Преподаватель/студент Периодически и в конце обучения Часто/постоянно Окончательное решение Улучшение Задачи Ставится Время Цель ИтоговаяПромежуточная Оценка для улучшения результатов обучения

Аспекты хорошего вопроса Надежность (reliability) – достоверность отражает стабильность результатов теста. Выражает степень достоверности получаемых результатов. Показывает степень точного соответствия полученной оценки действительным способностям студента. Это устойчивость результатов, полученных при повторной проверке, т.е. тест должен показывать одинаковые результаты при повторном его использовании на аналогичном контингенте студентов. Сложность экзамена (level of difficulty) Распределение опций (distribution of option) Качество теста – определяет Дискриминационный индекс (discrimination index), определение чувствительного вопроса. СГМА, доцент Керимкулова А.С.23

Факторы, влияющие на надежность оценки Продолжительность тестирования – длительность общения с экзаменатором способствует более объективной оценке ответа; Разброс оценочной шкалы должен быть по возможности большим, что увеличивает точность оценки; Количество тем влияет на качество проверки пройденного материала – чем меньше тем, тем больше вопросов можно проверить, и не пропустить важные из них; Уровень сложности определит уровень усвоения знаний и навыков, правильные ответы на сложные вопросы покажут высокий уровень усвоения знаний; Объективность оценки определяется соответствием полученной оценки действительным знаниям и навыкам студента, достигается она при высокой надежности метода оценки; Количество экзаменаторов – чем больше экзаменаторов, тем выше надежность метода и точность оценки.

Достоверность: контролируемые факторы Различия в конкретных заданиях, предъявляемых тестируемому –Менее различающиеся задания = более высокая достоверность Различия между экзаменаторами Продолжительность экзамена

26 Достоверность как функция продолжительности экзамена Продол- житель- ность, ч MCQ Эссе по исто- рии бо- лезни Устный экзамен Длин- ный случай OSCE Видео- оценка Norcini et al., Stalenhoef-Halling et al., Swanson, Wass et al., Van der Vleuten, Norcini et al., 1999 Станд. паци- енты Mini CEX Ram et al., Gorter,

27 Валидность Что на самом деле «измеряет» результат теста? –Проверяются заключения о значении и интерпретации результатов теста Доказательства интерпретации и использования результатов теста Дал ли экзамен нам то, что мы хотели измерить

Валидность Валидность – это степень –«Какова степень доказательности результатов тестирования?» Каждое заключение может нуждаться в своих доказательствах

Подведение итогов Достоверность отражает стабильность результатов теста Валидность: доказательны ли результаты тестирования?

Заключение Оценка – это больше проблема организации обучения, чем психометрии (т.е. каким образом использовать стратегически оценку для достижения цели обучения) Оценка требует тщательного планирования и мониторинга Эффективна в сочетании со всей пирамидой способностей –Необходимо использование нескольких, а не одного метода оценки Cees van der Vleuten