1 Методы оценки знаний и навыков студентов Семинар-обучение «Инновационные методы обучения в медицинском образовании» Государственный медицинский университет Доцент Керимкулова Айман Сайлаубековна

2 Простая модель способностей Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Знать – базовые знания выполнения навыка Показать как – умение показывать навык Знать, как применить на практике Сделать – практическое выполнение Профессиональная аутентичность Письменная, устная или оценка, полученная при компьютерном тестировании Оценка за выполнение или активное участие

Самостоятельный ответ Модифицированный вопрос-эссе (MEQ - Multiply Essay Questions) Сочинение (краткое и длинное) Практическое занятие Краткий ответ Моделирование ситуаций в письменном виде Знать Знать как Показать как Сделать

Устный экзамен Устный экзамен на произвольные вопросы. Устный экзамен на структурированные вопросы. Устный экзамен с письменными ответами. Устный экзамен с частичным разбором больного. Устный экзамен с полным разбором больного.

5 Модифицированный вопрос- эссе (MEQ - Multiply Essay Questions) Устный экзамен, студенту предлагается задание и прилагающийся к нему перечень вопросов на которые он должен ответить. Представляет собой решение задачи с последовательным раскрытием условий. Оценивается: –Умение собрать полную информацию о больном и его состоянии; –Взаимоотношения доктор- пациент; –Смог ли доктор понять все явные и скрытые проблемы пациента; –Ведение больного: тактика лечения, дальнейшее наблюдение, повторный визит; –Профилактика. Используется пятибалльная система оценок

6 Оценка практических навыков Лабораторные работы OSCE (со станциями проверки навыков) Мини-клинический экзамен –Продолжительный случай Ведение дневников Портфолио Клинические записи Наблюдение Другое Знать Знать как Показать как Сделать

Оценка навыков: сделать Непрямые методы –Анализ записей в истории болезни –Анализ записей о деятельности врача –Анализ выписанных рецептов Прямые методы –Клинический рейтинг –Стандартизованные пациенты –Оценка видеозаписей –Отзывы пациентов –Отзывы других студентов –Наблюдение за клинической работой –Мини-клинический экзамен……… Знать Знать как Показать как Сделать

Мини-клинический экзамен (Norcini, 1995) Краткое наблюдение за клинической работой с пациентом (10-20 минут) Устная оценка Заполнение стандартных форм Повторяется по крайней мере 4 раза разными экзаменаторами (см. Знать Знать как Показать как Сделать

Ниже требуемого уровня 1 2 Почти на требуемом уровне 3 Соответствует требуемому уровню 4 Выше требуемого уровня 5 6 Мини-клинический экзамен

Удовлетворительное выполнение навыков 7 категорий Расспрос Физикальное обследование Навыки общения Клиническое мышление Профессионализм Организованность/ эффективность Общая оценка ухода за больным Мини-клинический экзамен

Если ли области, где сделано очень хорошо Что следует улучшить Оценка удовлетворенностью результатами по 10- бальной системе Время затраченное на экзамен Время затраченное на обратную связь Мини-клинический экзамен

«Продолжительный случай» Используется в конце обучения по клиническим дисциплинам. Студент работает с реальным пациентом в течение 45 минут. Преподаватель наблюдает со стороны, выставляет оценку и предоставляет обратную связь. Это не совсем достоверный случай, т.к. нет стандартизации. Для увеличения достоверности необходимо провести несколько раз, в конце суммируется оценка.

13 Метод «тройного прыжка» - оценивается клиническое мышление, умение предвидеть клиническую ситуацию, способность определить требуемую дополнительно информацию и применить свои знания для решения проблемы пациента (3 раза в год). Метод многокомпонентной оценки Студенты проходят 3 этапа: 1 этап представляется стандартизированный пациент (может быть видеосъемка) или информация о клинической ситуации или показывают больного или предлагают описание анализа, рентгенограмму, ЭКГ. Устно или письменно объясняют ситуацию. Выясняют какая информация необходима дополнительно для постановки предварительного диагноза. 2 этап – через ч. Предоставляется время для сбора дополнительной информации на возникшие у него вопросы, включает работу в библиотеке и дальнейшая оценка состояния больного. 3 этап – работа с преподавателем, продолжение письменного или устного экзамена, проведение диф.диагноза, выбора тактики ведения и лечения больного.

Наблюдение за клинической работой Неоднократные прямые наблюдения за клинической работой студента, используя стандартные формы оценки, заполненные подходящим наблюдателем (клиницистом, медсестрой, другим студентом и т.д.) Знать Знать как Показать как Сделать

ОСКЭ OSCE ЧТО ЭТО? О бъективный O bjective С труктурированный S tructured К линический C linical Э кзамен E xamination

ОСКЭ Детализированное, фиксированное по времени шаговый опрос студентов, исключающий элемент субъективизма со стороны экзаменатора

Метод OSCE Станция

ОСКЭ ОСКЭ стандартизирует как сами знания преподавателей, так и оценку знаний студентов устраняет субъективизм оценки способствует выработке автоматизма в выполнении врачебный манипуляций максимально приближает к реальной клинической ситуации мобилизует на быстрое решение проблемы

Организация и планирование оценки

Матрица оценки

Методы оценки знаний

Планирование оценки: «Шаблон» Компетентности Время Методы преподавания Во время занятий / Вне занятий

«Шаблон» ВыборОтветНавыкиПрямое наблюдение Вес 1.Студент должен знать (перечислить, определить…) A 2.Студент должен уметь… B 3. Студент должен владеть… C ИТОГО 100% Задачи Методы

МЕТОДЫ ОЦЕНКИ Все методы оценки имеют ограничения и ни один метод не может полностью оценить знания и навыки Рекомендуется использование нескольких методов оценки

Прогрессивное тестирование Результаты одного теста Faculty of Medicine Maastricht University

Mean correct scores on the Progress Test from a number of Maastricht student cohorts (black lines) and reference group of family physicians in training (blue line) Прогрессивное тестирование Тестирование в Maastricht Faculty of Medicine Maastricht University

Оценить успеваемость Оценить способности Выдача сертификата Перевод на следующий курс Обратная связь Определить уровень непонимания Определить сильные/ слабые стороны Изменить стиль преподавания Разработать план обучения Преподаватель Преподаватель/студент Периодически и в конце обучения Часто/постоянно Окончательное решение Улучшение Задачи Ставится Время Цель ИтоговаяПромежуточная Оценка для улучшения результатов обучения

Аспекты хорошего вопроса Надежность (reliability) – достоверность отражает стабильность результатов теста. Выражает степень достоверности получаемых результатов. Показывает степень точного соответствия полученной оценки действительным способностям студента. Это устойчивость результатов, полученных при повторной проверке, т.е. тест должен показывать одинаковые результаты при повторном его использовании на аналогичном контингенте студентов. Сложность экзамена (level of difficulty) Распределение опций (distribution of option) Качество теста – определяет Дискриминационный индекс (discrimination index), определение чувствительного вопроса. СГМА, доцент Керимкулова А.С.28

Факторы, влияющие на надежность оценки Продолжительность тестирования – длительность общения с экзаменатором способствует более объективной оценке ответа; Разброс оценочной шкалы должен быть по возможности большим, что увеличивает точность оценки; Количество тем влияет на качество проверки пройденного материала – чем меньше тем, тем больше вопросов можно проверить, и не пропустить важные из них; Уровень сложности определит уровень усвоения знаний и навыков, правильные ответы на сложные вопросы покажут высокий уровень усвоения знаний; Объективность оценки определяется соответствием полученной оценки действительным знаниям и навыкам студента, достигается она при высокой надежности метода оценки; Количество экзаменаторов – чем больше экзаменаторов, тем выше надежность метода и точность оценки.

Достоверность Связана с «обобщаемостью» –Насколько данная выборка (набор элементов) представляет генеральную совокупность (общий набор подобных случаев)?

Достоверность: случайные факторы Изменения в физическом и психическом состоянии человека, подвергающегося оценке Изменения внешних условий

Достоверность: контролируемые факторы Различия в конкретных заданиях, предъявляемых тестируемому –Менее различающиеся задания = более высокая достоверность Различия между экзаменаторами Продолжительность экзамена

33 Достоверность как функция продолжительности экзамена Продол- житель- ность, ч MCQ Эссе по исто- рии бо- лезни Устный экзамен Длин- ный случай OSCE Видео- оценка Norcini et al., Stalenhoef-Halling et al., Swanson, Wass et al., Van der Vleuten, Norcini et al., 1999 Станд. паци- енты Mini CEX Ram et al., Gorter,

34 Валидность Что на самом деле «измеряет» результат теста? –Проверяются заключения о значении и интерпретации результатов теста Доказательства интерпретации и использования результатов теста Дал ли экзамен нам то, что мы хотели измерить

Валидность Валидность – это степень –«Какова степень доказательности результатов тестирования?» Каждое заключение может нуждаться в своих доказательствах

Подведение итогов Достоверность отражает стабильность результатов теста Валидность: доказательны ли результаты тестирования?

Заключение Оценка – это больше проблема организации обучения, чем психометрии (т.е. каким образом использовать стратегически оценку для достижения цели обучения) Оценка требует тщательного планирования и мониторинга Эффективна в сочетании со всей пирамидой способностей –Необходимо использование нескольких, а не одного метода оценки Cees van der Vleuten

Путь студентов к достаточным или даже отличным знаниям будет менее трудным, если они будут иметь постоянную информацию о своих достижениях в учебе.

СПАСИБО ЗА ВНИМАНИЕ!