Иркутская государственная академия последипломного образования (Tempus IV ) ЗАСЕДАНИЕ ОРГАНИЗАЦИОННОГО КОМИТЕТА В РАМКАХ МЕЖДУНАРОДНОЙ ИТОГОВОЙ КОНФЕРЕНЦИИ Оценка студента медицинского факультета: знания, эрудиция и жизненно-важные умения и навыки Профессор Сильвен Мёри Медицинский университет Брюссельского свободного университета

Цель: Достигнуть профессиональной компетенции! Постоянно и целесообразно ли использование: Коммуникаций Знаний Принятия решений, основанных на доказательствах Технических навыков Эмоций Анализа и оценки с целью улучшения состояние здоровья отдельно взятого человека и всего сообщества

Кто оценивает и что должно оцениваться? Обмен знаниями, эрудицией и жизненно-важными умениями и навыками между преподавателем и студентом Кто : –Преподаватель - в течение учебного процесса Учебная «гонка с препятствиями» (Министр образования)! –Консультанты – окончание учебного процесса Аккредитационный совет по последипломному медицинскому образованию (Министр здравоохранения) Что : –Обширные и совокупные компетенции: Знания + Обучение и усовершенствование, основанные на практике+ Навыки межличностного общения + Этика и профессионализм + Систематическая практика + Уход за пациентами,…

Необходимо ли оценивание? Формальной система оценивания в Европе до Эпохи Возрождения не существовала –Идея, возникшая в Китае (VI век) для Выбора государственных чиновников –Заимствована португальскими иезуитами для Выбора представителей в колониях империи Широко применяется –Европейскими правительствами и –Университетами !!! Возможно, это - эффективная задумка

Необходимо ли оценивание? Полезная система для: – Обучения студентов и –Принятия ответственности по окончанию обучения Два вопроса: ПОЧЕМУ нам нужно оценивать? ЧТО мы хотим оценить?

Необходимо ли оценивание? Ответ зависит от точки зрения Преподаватель подтверждает, что был получен минимальный уровень знаний Стратегия обучения Студент готовится к экзаменам, чтобы достигнуть минимального уровня и получить право продолжать обучение… Стратегия прохождения

ПОЧЕМУ мы оцениваем? Чтобы гарантировать пациентам безопасность Наша ответственность перед людьми Чтобы достигнуть минимальных стандартов ответственность: перед учащимся перед университетом! Теоретически…

ПОЧЕМУ мы оцениваем? Гарантировать компетентность В качестве средства для того, чтобы стимулировать конкуренцию между учащимися На практике: цель…

ПОЧЕМУ мы оцениваем? Формирующая: дать отзыв и совет –Когда повар пробует суп – это формирующая Суммирующая: дать оценку –Когда гости пробуют суп –суммирующая Определяющая: получить образование На практике: цель Когда мы должны оценивать?

Миллер Дж.И. Оценивание клинических умений/компетенции/успеваемости. Учебная медицина (Приложение) 1990; 65: S63-S7. Знает Показывает как Знает как Делает Профессиональная аутентичность Письменное, устное или компьютерное оценивание Успеваемость, оценивание на практике

КОГДА мы оцениваем? 3+3+ Зачёт/Незачёт % 1 S Неудовлетворительно 67% % 4/5 7/10 14/20 аттестован Компетентный Оценивание продолжается(Обучение в течение всей жизни)

КАК мы оцениваем? Оценивание –Процесс измерения чего-либо с целью выставления цифровой оценки. Выставление баллов –Процедура, при которой мы оцениваем задание, приписывая ему некую цифровую ценность. Определение –Процесс определения целесообразности чего-либо по отношению к установленным критериям при использовании информации оценивания.

Проблемы, связанные с оцениванием Обоснованность – Достигает ли тест того, что было необходимо –Основаны ли задания теста на установленных целях? –Верно ли сформулированы задания теста? Сложность – Являются ли вопросы слишком сложными или слишком простыми? (например, от 30% до 70% учащихся должны дать правильный ответ на данное задание) Выделимость – Связано ли правильное выполнение отдельных заданий теста с общей успеваемостью студентов (например, только лучшие студенты дают правильные ответы на самые трудные задания)

Типы определения Определение, основанное на определяющих факторах – успеваемость учащегося оценивается в зависимости от ряда заранее заданных стандартов. Определение, основанное на нормах – успеваемость учащегося оценивается в соответствии с успеваемостью других учащихся.

Определение, основанное на определяющих факторах Основано на ряде заранее определенных (минимальных) стандартов. Например, –90% и выше= 5 –80% до 89.99% = 4 –70% до 79.99% = 3 –60% до 69.99% = 2 –59.99% и ниже= 1

Определение, основанное на определяющих факторах Достоинства: - Устанавливает минимальные ожидания от успеваемости. - Показывает, что умеют, а что не умеют делать студенты по отношению к важным стандартам предметов учебного плана. Недостатки: - Иногда трудно понять, где нужно устанавливать разграничивающие условия. - Недостаток данных других учащихся/учебных заведений для сравнения.

Определение, основанное на нормах Основано на принятии стандартного нормального (Гауссова) распределения с n > 30. Берет z в качестве оценки: – 5 = высшие 10% ( z > +1.28) – 4 = следующие 20% (+0.53 < z < +1.28) – 3 = центральные 40% (-0.53 < z < +0.53) – 2 = следующие 20% (-1.28 < z < -0.53) – 1 = нижние 10% ( z < -1.28)

ЕСПО = Европейская система перевода оценок ОценкаЛучшая и т.дОпределение 510%Выдающаяся успеваемость с небольшими ошибками 425%Выше средних стандартов, но с некоторыми ошибками 330%Средняя работа с достаточным количеством значительных ошибок 225%Практически удовлетворительно с грубыми ошибками 110%Успеваемость соответствует минимальным критериям Неудовлетворительно – необходимы большие усилия для получения зачёта Неудовлетворительно – необходима крайне усердная работа

Определение, основанное на нормах Достоинства: - Гарантирует «промежуток» между верхними и нижними показателями в классе для более ясного выставления оценки - Показывает успеваемость учащегося относительно всей группы Недостатки: Верхние и нижние показатели могут быть близки друг к другу Нет абсолютного критерия успеваемости Получение оценки выше среднего не гарантирует отличной успеваемости В группе с очень высокой успеваемостью некоторые будут получать неудовлетворительные оценки.

Определение, основанное на факторах и нормах Основанное на нормах Гарантирует соревновательную атмосферу в классе Допускает стандартное нормальное распределение Трудно получить статистические данные в небольших группах Допускает «этот» класс такой же, как и другие Основанное на факторах Допускает атмосферу сотрудничества в классе Нет принятия ответственности относительно формы распределения Определение статистики небольших групп не представляет проблемы Трудно понять, как устанавливать критерии

Академическая аттестация Во Фландрии в системе высшего образования применяется следующая система: Неудовлетворительно – если учащийся получает менее 10/20 Удовлетворительно - если учащийся получает по крайней мере 10/20 Хорошо - если учащийся получает по крайней мере 14/20 по 2/3 всех зачетов Очень хорошо - если учащийся получает по крайней мере 78% баллов по 2/3 всех зачетов Отлично - если учащийся получает по крайней мере 17/20 по 2/3 всех зачетов В Австрии используются оценки от 1 до 5 В Швеции в университетах применяются следующие стандарты: VG – зачёт с ограничениями G – зачёт U - незачет ОценкаПроцент Отлично Хорошо89-80 Удовлетворительно79-64 Достаточно63-51 Неудовлетворительно50-0

ЧТО мы измеряем? Протестировать не только наличие знаний …но также способность применять их Теоретически…

Модель клинического оценивания Подтверждение компетентности – зачёт/незачёт государственное (и законное) требование Аттестация по уровню для работодателей/устройства на работу Соревнование с целью получения награды Теоретически…тройная цель

Модель клинического оценивания Измерение: Соответствие базовым клиническим умениям Способность толковать клинические находки Способность поддерживать коммуникацию в процессе работы Способность мыслить аналитически при постановке диагноза Способность логически обсуждать управление На практике…

Практические шаги к оцениванию По крайней мере 6 испытаний с различными клиническими ситуациями (терапия, хирургия, педиатрия, акушерство и гинекология,…) По крайней мере 3 экзаменатора на каждом испытании, каждый экзаменатор дает свою оценку Тщательно структурированные экзамены и детальное оценивание знаний и умений Экзаменаторы из других университетов для оценивания и контроля качества

Заданные величины Отношение к пациенту Действительные навыки и умения, проверенные экзаменом Презентация обнаруженных факторов Клиническая оценка Клинический осмотр пациентов

Проблемы, связанные с методологией Надежность Обоснованность Практичность Прозрачность

Организационные проблемы Доступность ресурсов Число учащихся Доступ к пациентам Инвазивные процедуры Временные рамки

Роль выставления оценок Есть ли в этом необходимость? Процесс отбора для работодателей Процесс отбора для дальнейшего обучения Качество метода оценивания и успеваемость учащихся

Последний вопрос: Что происходит с провалившимися? Рассмотрение успеваемости – деятельность, способствующая развитию Консультирование н а личном уровне Особое внимание и индивидуальное обучение Повторное оценивание по прошествии определенного периода времени

Заключение I.Оценивание учащихся (будущих коллег) – продолжительный и сложный процесс II.Оценивание клинических знаний и умений зависит от преподавателя, медицинского учебного заведения, национальной и культурной принадлежности III.Существует большая сфера применения принятых стандартных методов оценивания - Клинические компетенции по основным предметам - Дополнительные компетенции, важные для личной практики IV.Преподаватели должны привести примеры того, чем являются знания, эрудиция и жизненно-необходимые навыки и умения