Д-р пед. наук, профессор Донского государственного технического университета Н.Ф. Ефремова ПРОБЛЕМЫ ОЦЕНИВАНИЯ КОМПЕТЕНЦИЙ СТУДЕНТОВ ПРИ РЕАЛИЗАЦИИ КОМПЕТЕНТНОСТНО- ОРИЕНТИРОВАННЫХ ООП ВПО

ОЦЕНКА УЧЕБНЫХ ДОСТИЖЕНИЙ 2 Согласно требованиям ФГОС: «8.1. Высшее учебное заведение обязано обеспечивать гарантию качества подготовки, в том числе путем… разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников 8.4. Для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей ООП (текущая и промежуточная аттестация) создаются фонды оценочных средств, включающие типовые задания, контрольные работы, тесты, позволяющие оценить знания, умения и уровень приобретенных компетенций. Фонды оценочных средств разрабатываются и утверждаются вузом.

Известные более 300 лет со времен Я.А. Коменского знания умения и навыки (ЗУН) являются актуальными и при компетентностном обучении Без ЗУН компетенции не формируются, а без компетенций знания не проявляются! ЗУН и КОМПЕТЕНЦИИ

4 описать результаты (дескрипторы) в простых и однозначных терминах, чтобы они были понятны студентам, преподавателям, коллегам, работодателям и внешним экспертам оценить реально ли достичь результаты образования имеющимися ресурсами и в пределах отведенного времени предоставить возможности оценивания компетенции при помощи КОЗ по дескрипторам При компетентностном обучении важными становятся: - компетенции как результат образования; - образовательные технологии как способ их формирования; - оценочные средства как инструмент доказательства достижения заявленных результатов образования. Для оценивания компетенций необходимо:

КОМПЕТЕНЦИИ и ОЦЕНОЧНЫЕ СРЕДСТВА Компетентностная модель Дескрипторы ОС и процедуры оценивания

ОЦЕНКА УЧЕБНЫХ ДОСТИЖЕНИЙ 6

7 ТРЕБОВАНИЯ К ПРОЦЕДУРАМ ОЦЕНИВАНИЯ Разработка и применение оценочных средств через эталонные квалиметрические процедуры, обеспечивающие сочетание количественных и качественных оценок, их достоверность и сопоставимость Стандартизация оценочных средств и процедур Обеспечение информационной защиты материалов, процедур и первичных результатов измерения

связь между оценкой и обучением; акцент на компетенциях; необходимость разработки независимых процедур оценивания результатов обучения; наличие стандартов, педагогических измерителей, показателей, критериев, норм и шкал оценивания; организация сквозных процедур и стандартизированных методов оценки, позволяющих проводить сравнительный анализ качества обучения и обеспечивающих условия для накопления валидных результатов в портфолио студентов ВАЖНЫЕ НАПРАВЛЕНИЯ И ПРИНЦИПЫ СОВРЕМЕННОГО ОЦЕНИВАНИЯ:

ПРИНЦИПЫ ОЦЕНИВАНИЯ КОМПЕТЕНЦИЙ СТУДЕНТОВ ПРИ КОМПЕТЕНТНОСТНОМ ОБУЧЕНИИ сочетание традиционных и инновационных методов оценки результатов обучения оценивание как предметных, так и надпредметных результатов (компетенций) независимость, системность, надежность и валидность рубежных и итоговых оценок создание реальных или квазиреальных условий деятельности студентов при оценивании компетенций обеспечение субъектам образования доступности результатов оценивания, их анализа и интерпретации использование результатов для совершенствования образовательной деятельности ВАЖНО ОБЕСПЕЧИТЬ:

КЛЮЧЕВЫЕ ЦЕННОСТИ СОВРЕМЕННОГО ОЦЕНИВАНИЯ 10 валидным (объекты оценки должны соответствовать поставленным целям курса и оценивания) надежным (использовать единообразные стандарты или критерии) справедливым (разные студенты должны иметь равные возможности добиться успеха) развивающим (фиксировать что могут студенты, и как им улучшить свои результаты) своевременным (поддерживающим развивающую обратную связь) эффективным (выполнимым, не забирать все время студента и преподавателя) Оценивание должно быть:

11 Стандарты оценочной процедуры: периодичность проведения оценки уровня сформированности компетенций от студента, приступающего к освоению ООП, до выпускника вуза на каждом этапе обучения и по мере завершения изучения модуля ООП; соблюдение последовательности проведения оценки: в модели компетенций следует предусмотреть, чтобы развитие компетенций шло по возрастанию их уровней, а оценочные средства на каждом этапе учитывали это возрастание; многоступенчатость: оценка, самооценка студента, обсуждение результатов и комплекс мер по устранению недостатков; единство используемой технологии (заполнение оценочных листов, собеседование, определение направлений развития) для всех студентов, выполнение условий сопоставимости результатов оценивания

12 ТЕХНИКИ ОЦЕНИВАНИЯ КОМПЕТЕНЦИЙ оценка по уровню развития ключевых компетенций тесты «на применение» при определении предметных и межпредметных компетентностей рейтинговая модель, определяющая степень продвижения обучающегося по лестнице успеха в однотипной среде мониторинговая модель, предусматривающая создание «портфолио» достижений обсуждение и дискуссия написание текстов различного рода презентация – представительские данные, навыки публичных выступлений, умение «держаться» перед аудиторией

13 ТЕХНИКИ ОЦЕНИВАНИЯ КОМПЕТЕНЦИЙ (продолжение) ситуационно-поведенческие тесты – краткие стандартизованные оценочные процедуры тесты эффективности обработки информации личностные опросники как наборы стандартизованных анкет с вопросами закрытого типа интервью как инструмент, позволяющий открыто обсуждать слабые и сильные стороны и объяснять свою точку зрения метод стратегического интервью

14 ТЕХНИКИ ОЦЕНИВАНИЯ КОМПЕТЕНЦИЙ (продолжение) наблюдение – инструмент сбора информации для установления фактов анкетирование – инструмент для сбора информации, причем у респондентов есть время подыскать требуемые данные/факты контент-анализ документации (классных журналов, характеристик и др.) портфолио документов – набор документов, материалов, отражающих деятельность обучающегося

СХЕМА ВЗАМОДЕЙСТВИЯ ОСНОВНЫХ КОМПОНЕНТОВ КОМПЕТЕНТНОСТНОГО ОБУЧЕНИЯ

СИСТЕМНОСТЬ ОЦЕНИВАНИЯ – УСЛОВИЕ СОВЕРШЕНСТВОВАНИЯ ПРОЦЕССА ОБУЧЕНИЯ введение инноваций в контрольно- оценочные процедуры; создание независимой оценочной системы вуза и фонда оценочных средств, разработка новых средств и методов контроля, создание и использование компетентностно- ориентированных заданий (КОЗ), обеспечение компетентности преподавательского состава вузов по использованию этих инноваций в учебном процессе Для этого необходимы:

Портфолио Методические материалы и инструкции Оценочные средства и технологии Критерии оценки соответствия (несоответствия) ответа требованиям ФГОС и ООП ВПО Результаты освоения программ и достижений требований ФГОС ФОС – фонды оценочных средств

18 Фонды оценочных средств Под фондом оценочных средств (ФОС) понимается комплект методических, контрольных измерительных и оценочных материалов, предназначенных для выявления уровня сформированности компетенций на разных стадиях обучения студентов, в том числе и первокурсников, приступающих к освоению ООП

обеспечение независимости оценивания и объективности его результатов распространение передового педагогического опыта, накопленного в профессиональном сообществе внедрение в практику образования новой культуры независимого оценивания достижений учащихся развертывание учебного процесса на основе современных оценочных средств ЦЕЛИ ФОРМИРОВАНИЯ ФОНДА ОЦЕНОЧНЫХ СРЕДСТВ

разработка, хранение, учет (банк) контрольно-оценочных материалов; стандартизация оценочных средств и процедур; обеспечение системности оценивания; формирование и предоставление статистических отчетов; гибкое управление правами пользователей в системе; оперативное изменение пользовательских форматов результатов обучения ОСНОВНЫЕ ФУНКЦИИ ФОС:

Структура фонда оценочных средств (ФОС) - модели компетенций и программы их оценивания в соответствии с уровнями обучения студентов;- совокупность контрольно-оценочных материалов (опросников, тестов, кейсов и др.); - инструкции и методические материалы, определяющие процедуры оценивания компетенций; - требования к квалификации разработчиков оценочных средств и организаторов проведения оценивания; - технологии и методы обработки результатов оценивания компетенций; 21

Структура фонда оценочных средств (ФОС) - программно-инструментальные средства обработки результатов, проведения статистического анализа данных, графической визуализации, форматы представления результатов; - наборы показателей и критериев оценки уровней сформированности компетенций и шкалы оценивания в соответствии с задачами контроля; - программы подготовки оценщиков и экспертов для проведения контрольно-оценочных процедур; - рекомендации по обновлению ФОС (периодичность, степень обновления, изменения процедур, методов, технологий, показателей, критериев и др.) 22

ПРИМЕР ПРЕЗЕНТАЦИИ УРОВНЯ ОСВОЕНИЯ КОМПЕТЕНЦИЙ СТУДЕНТОМ ПЕРВОГО КУРСА

Зарубежный опыт конструкторы тестов разработчики заданий внешние эксперты содержательной части (представители профессионального сообщества) тестологи, педагоги, психологи, методисты, проводящие: наполнение банка заданий обработка, шкалирование и интерпретация результатов мониторинг индивидуальных достижений на протяжении всего периода обучения 24

Конструктор задач на развитие и оценку компетентности ОзнакомлениеПониманиеПрименениеАнализСинтезОценка 1.Назовите основные части… 8.Объясните причины того, что… 15. Изобразите информацию графически 22.Раскройте особенности… 29. Предложите новый (иной вариант…) 36. Ранжируйте… и обоснуйте… 2. Сгруппируйте вместе все… 9.Обрисуйте в общих чертах шаги, необходимые для того, чтобы… 16.Предложите способ, позволяющий… 23.Проанализир уйте структуру… с точки зрения… 30. Разработайте план, позволя- ющий (препятст- вующий)… 37. Определите, какое из решений является опти- мальным для… 3.Составьте список понятий, касающихся… 10.Покажите связи, которые, на ваш взгляд, существуют между… 17. Сделайте эскиз рисунка (схемы), который показывает… 24.Составьте перечень основных свойств характе- ризующих с точки зрения… 31.Найдитенеобы чный способ, позволяющий… 38.Оцените значимость… для... 4.Расположите в определён- ном порядке… 11.Постройте прогноз развития… 18.Сравните… и…, а затем обоснуйте… 25.Постройте классификацию на основании… 32. Придумайте игру, которая… 39.Определите возможные кри- терии оценки… 5.Изложите в форме текста… 12. Прокомментируйт е положение о том, что… 19.Проведите (разработайте) эксперимент, подтверждающий 26.Найдите в тексте (модели, схеме и т.п.)то, что… 33. Предложите новую(свою) классификацию… 40. Выскажите критические суждения о… 6.Вспомните и напишите… 13.Изложите иначе (переформулируй те) идею о том, что… 20.Проведите презентацию… 27.Сравните точки зрения… и … на… 34.Напишите возможный сценарий развития… 41.Оцените возможности…дл я… 7.Прочитайте самостоятельн о… 14.Приведите пример того, что (как, где)… 21.Рассчитайте на основании данных о… 28.Выявите принципы, лежащие в основе… 35. Изложите в форме… своё мнение (понимание)… 42. Проведите экспертизу состояния… Схема оценивания эссе

26 ВУЗОВСКАЯ СЛУЖБА ОЦЕНИВАНИЯ Многие проблемы формирования и функционирования фондов оценочных средств могут быть решены путем создания вузовских служб оценки учебных достижений студентов (знаний, умений, навыков и компетенций)

27 средства оценивания, техника и технологии (процедуры) оценивания, подготовленные кадры, программно-инструментальные средства обработки результатов; объекты оценивания и их предметные области (ООП, учебные программы, методические материалы, инструкции по использованию оценочных средств и др.); субъекты оценивания (студенты, преподаватели, эксперты и комиссии); базы результатов оценивания, нормы качества, системы требований; базы образовательной статистики и средства доступа к ней различным категориям пользователей Структурные компоненты служб:

28

29 При проектировании службы оценки компетенций вузам следует ориентироваться на компьютерные технологии, стандартизированные оценочные материалы и машиночитаемые бланки ответов

30 Это позволит: формировать электронные банки образовательной статистики, объединять и дробить информацию по различным выборкам обучающихся, сравнивать их между собой, определять статистические параметры контрольных измерительных материалов и критерии достижения требуемого уровня развития компетенций; комплектовать индивидуальный портфолио на каждого студента по результатам систематического оценивания в течение всего периода обучения в вузе в целом освободить преподавателей от рутинной работы, направив их усилия на разработку оценочных средств и методик организации самостоятельной работы

Создание службы и разработка ФОС потребует: от администрации вузов организационно- управленческих действий; от преподавателей соблюдения методик контроля, опоры на теорию педагогических измерений при выборе вида и содержания контролирующих заданий, умений структурирования содержания учебного материала на основе компетентностного и деятельностного подходов; от разработчиков контрольно-оценочных материалов и процедур понимания основ конструирования и стандартизации средств оценивания; в целом от коллектива вуза иного отношения к независимому оцениванию достижений студентов 31

Оперативные задачи: Обеспечить: методические материалы по разработке оценочных материалов, требования к разработке шкал и критериев оценивания, инструкции по оценке и интерпретации данных проведение серии обучающих семинаров по основам современной оценочной деятельности тренинги для преподавателей разработчиков современных контрольно-оценочных материалов с целью отработки умений по созданию современных педагогических измерителей системную переподготовку преподавателей как новым технологиям обучения, так и готовности к независимому оцениванию его результатов системную переподготовку преподавателей как новым технологиям обучения, так и готовности к независимому оцениванию его результатов 32

33 Эксперты предметники должны иметь представление о: алгоритмах отбора и конструирования заданий для оценки достижений в предметной области; технике конструирования заданий; способах организации и проведения стандартизированных оценочных процедур; методиках шкалирования в образовании; методах обработки и интерпретации результатов оценивания;

Должны быть центры или уполномоченные организации по разработке, апробации и созданию оценочных материалов Должны быть центры или уполномоченные организации по разработке, апробации и созданию оценочных материалов Статистическая обработка должна давать как информацию о качестве обучения, так и обеспечивать калибровку тестовых заданий для формирования банка тестовых заданий, оценки качества использованных педагогических измерителей и получения устойчивых параметров заданий Статистическая обработка должна давать как информацию о качестве обучения, так и обеспечивать калибровку тестовых заданий для формирования банка тестовых заданий, оценки качества использованных педагогических измерителей и получения устойчивых параметров заданий Непрерывное обновление БТЗ Непрерывное обновление БТЗ 34 Пути решения проблем

СОЧЕТАНИЕ ВНЕШНЕГО И ВНУТРИВУЗОВСКОГО ОЦЕНИВАНИЯ УЧЕБНЫХ ДОСТИЖЕНИЙ ИНВАРИАНТНАЯ ЧАСТЬ ВАРИАТИВНАЯ ЧАСТЬ ЦЕНТР СЕРТИФИКАЦИИ ОЦЕНОЧНОЙ ДЕЯТЕЛЬНОСТИ ФОС ВУЗА ВУЗ (ФОС) ЦЕНТР РАЗРАБОТКИ КИМ ФЕДЕРАЛЬНЫЙ ЦЕНТР ОЦЕНИВАНИЯ ЗУН и компетенций ЦЕНТР ОБУЧЕНИЯ