Экспертиза образовательных программ и измерение образовательных результатов: опыт НИУ ВШЭ С.Ю.Рощин Рабочая группа АВРЭМ,

Основные принципы оценки образовательных программ (рамка международного опыта) Сочетание самооценки (внутренняя экспертиза) и внешней оценки (экспертиза, аккредитация) Сочетание институциональных целей (развитие вуза) и программных целей (результаты отдельных образовательных программ) Сочетание срезовых измерений результатов обучения студентов с текущим (мониторинговым) оцениванием Привлечение к процедурам оценки, экспертизы всех заинтересованных сторон: преподавателей, администраторов, студентов, работодателей, общественные и профессиональные организации

Проблемы при внешней оценке образовательных программ ( на примере НИУ ВШЭ, по сравнению с ведущими мировыми вузами ) Сосредоточение внимания на качественных исследованиях, направленных на поиск различных заинтересованных сторон, изучение опыта других университетов, содержания учебных программ, преподавания и обучения Внимание к оценке институциональных, организационно- управленческих аспектов и показателей образовательных программ без акцента на результативность, эффективность Слабая степень вовлеченности профессорско- преподавательского состава, студентов в определение целей ООП и оценку ее результатов Трудно измеримые, не всегда конкретно сформулированные результаты образовательных программ Не очевидная внешнему наблюдателю связь учебных планов с целями и задачами образовательных программ

Современные требования к оценке образовательных программ Студентам, общественности, государству, органам аккредитации, попечителям/учредителям должны быть предоставлены доказательства качества образовательных программ Смещение акцента на результативность программы, удовлетворенность студентов и работодателей, и подтверждение того, как студенты отвечают заявленным/запланированным целям и задачам программы Сопоставимость hard (однозначно измеримых, независимых от измеряющего субъекта) и soft (выражающих мнения, суждения, оценку) показателей

Основные цели оценки программ в вузе 1) обеспечить открытость и прозрачность оценки и улучшение университетских программ; 2) продемонстрировать постоянное совершенствование (с учетом развития науки и образовательных инноваций), внедрение новых подходов в учебные программы; 3) содействовать развитию единому пониманию качества ОП путем создания единой стратегии оценки качества образования для разных образовательных программ

Условия для достижения целей Сотрудничество в создании видения, целей, задач и показателей программы; Исследование новых способов понимания успеваемости студентов; Сотрудничество в области способов отчетности об успеваемости студентов; Создание информационной системы продвижения моделей оценки программы

Связь оценки образовательной программы и результатов ее освоения Цели, задачи образовательной программы Заявленные результаты освоения Освоенные студентами результаты Удовлетворенность Соотнесение, соответствие Проблема описания целей и результатов: Внятно. Четко. Измеримо. Проблема измерения результатов: Что? Как? Чем?

Описание образовательных результатов

Описание результатов образования: международный опыт Проект TUNING Проект BEng Европейский опыт; Высшее образование, сопоставимость по уровням и по предметным областям Участие работодателей, преподавателей, студентов Цикличность, регулярность Американский и европейский опыт; Бакалаврский уровень, инженерное образование Участие аккредитационных агентств, опыт по оценке программ

Опыт НИУ ВШЭ Участие в международном проекте TUNING (первая волна) Что дало (результаты) Интегрированная рамка описания образовательного результата в стандартах ВШЭ (ОС НИУ ВШЭ): сочетание общероссийской (ФГОС) и международной (TUNING) Регулярные опросы работодателей относительно востребованности компетенций Регламент и методика разработки ОС НИУ ВШЭ с участием работодателей

Описание образовательных результатов Структурный состав компетенций ФГОС (2 части): общенаучные и профессиональные TUNING (2 части с рубриками): универсальные ( системные, инструментальные, социально-личностные ); профессиональные Компетенции в ОС НИУ ВШЭ: Системные (общие для всех направлений подготовки, по уровням: бакалавр, магистр) Профессиональные (инструментальные, социально-личностные) + содержательное наполнение части компетенций на уровне «знать/демонстрировать понимание, уметь, владеть»

Универсальные компетенции по версии TUNING Рейтинг 1-5 у всех групп респондентов Способность применять знания на практике, Способность определять, формулировать и решать проблемы, Знание и понимание предметной области и профессии, Нацеленность на достижение результата, Способность находить, обрабатывать и анализировать информацию из разных источников,

Универсальные компетенции по версии TUNING Рейтинг по мнению всех респондентов Понимание и уважение разнообразия и мультикультурности общества, Способность общаться на профессиональные темы с неспециалистами в своей области, Преданность идее охраны окружающей среды Ответственное отношение к вопросам безопасности Способность действовать в соответствии с принципами социальной ответственности и гражданского сознания,

Системные компетенции в образовательных стандартах (ОС) НИУ ВШЭ БакалаврМагистр Способен учиться, приобретать новые знания, умения, в том числе в области, отличной от профессиональной Способен совершенствовать и развивать свой интеллектуальный и культурный уровень, строить траекторию профессионального развития и карьеры Способен применять профессиональные знания и умения на практике. Способен предлагать концепции*, модели, изобретать и апробировать способы и инструменты профессиональной деятельности** Способен выявлять научную сущность проблем в профессиональной области. Способен решать проблемы в профессиональной деятельности на основе анализа и синтеза Способен принимать управленческие решения, оценивать их возможные последствия и нести за них ответственность Способен оценивать потребность в ресурсах и планировать их использование при решении задач в профессиональной деятельности Способен работать с информацией: находить, оценивать и использовать информацию из различных источников, необходимую для решения научных и профессиональных задач (в том числе на основе системного подхода) Способен анализировать, верифицировать, оценивать полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию и работать в условиях неопределенности Способен вести исследовательскую деятельность, включая анализ проблем, постановку целей и задач, выделение объекта и предмета исследования, выбор способа и методов исследования, а также оценку его качества Способен к самостоятельному освоению новых методов исследования, изменению научного и научно- производственного профиля своей деятельности Способен работать в команде Способен организовать многостороннюю (в том числе межкультурную) коммуникацию и управлять ею Способен грамотно строить коммуникацию, исходя из целей и ситуации общения Способен критически оценивать и переосмыслять накопленный опыт (собственный и чужой), рефлексировать профессиональную и социальную деятельность Способен рефлексировать (оценивать и перерабатывать) освоенные научные методы* и способы деятельности** Способен осуществлять производственную или прикладную деятельность в международной среде Способен вести профессиональную, в том числе научно- исследовательскую деятельность в международной среде

Структура описания состава компетенций МОТИВАЦИОННАЯ И ЦЕННОСТНАЯ СОСТАВЛЯЮЩАЯ СПОСОБЫ ДЕЯТЕЛЬНОСТИ РЕСУРСНАЯ БАЗА Предметные знания, учебные умения, практические навыки Метапредметные умения, «широкие» навыки, самоорганизация, универсальные инструменты действия Личностные характеристики, ценности, в т.ч. этические нормы в профессии

Что дает преподавателю предложенная структура? Возможность соотнести компетенотсную рамку описания образовательного результата с ЗУН-парадигмой («знания-умения-навыки») Возможность определить уровень формирования компетенции в рамках дисциплины и степень ответственности за формирование конкретной компетенции Возможность по-новому посмотреть на междисциплинарные связи

Форма компететностной карты, включенная в программу учебной дисциплины Компетенц ия Код по ФГО С/ ОС НИУ Уровень формиро вания Дескрипторы – основные признаки освоения (показатели достижения результата) Формы и методы обучения, способствующие формированию и развитию компетенции Формы и методы оценки сформированн ости РБ, СД, МЦ [Глаголы-подсказки, даны по мере повышения уровня освоения: дает определение, воспроизводит, распознает, использует, демонстрирует, владеет, применяет, представляет связи, обосновывает, интерпретирует оценивает]

Изменение внимания к описанию образовательных результатов По окончании изучения курса студент должен: знать основные принципы работы социолога с визуальной информацией разбираться в методах построения фотокомпозиции освоить основные приемы работы с фотокамерой и программой обработки изображения уметь социологически анализировать фотографии Выдержка из программы учебной Дисциплины (весь раздел), 2010 г. Выдержка из программы учебной дисциплины 2012 г. (часть раздела), тот же автор Мнения преподавателей: «Я по-другому взглянула на структуру курса…» «…Я вижу, что я должна проверить, и часто – как я могу это сделать…» «Мне казалось, что задания итогового экзамена проверяют все, что я заложила в курс; оказывается, есть явные тематические перекосы и перекос в сторону проверки только знаний…»

Что дает студенту предложенная структура? Прозрачность в описании запланированных результатов Уточнение ожиданий от освоения конкретной дисциплины Дополнительные критерии для выбора дисциплин-элективов и факультативов Отчасти: дополнительные критерии в оценке личных результатов по итогам освоения дисциплины

Ближайшие планы Доработка паспортов компетенций (возможность увидеть, в каких элементах образовательной программы формируются конкретные составляющие одной компетенции, разные образовательные результаты) Доработка классификатора компетенций (возможность увидеть, в каких разных образовательных программах формируются общие элементы компетенций, сходные образовательные результаты)

Проблемы в описании образовательных результатов Достичь общего желаемого уровня описания образовательных результатов для большинства российских вузов НЕ УДАСТСЯ, пока: Описание компетенций во ФГОС -3 имеет современные недостатки (разноуровневость, несопоставимость, декларативность) Не проработаны общие методические основы компетентностного подхода Не разделены «образовательные цели» и «образовательные результаты»

Оценка образовательных результатов

Оценка результатов образования: международный опыт Проекты TIMSS, PEARLS, PISA Проект AHELO Проект PIAAC Базовые компетенции в общем образовании Образовательные результаты в высшем образовании (особенно экономическом и инженерном ) Базовые компетенции взрослых

Оценка результатов образования: международный опыт Общие черты проектов: Комплексная, междисциплинарная оценка результатов Срезовый характер проверки (определенный уровень образования, поколение) Контекстное описание результатов Межстрановая сопоставимость, инструмент оценки систем образования

Оценка результатов образования: мировой опыт Австралия: проект AAGLO (Assessing and Assuring Graduate Learning Outcomes), оценка результатов высшего образования через достижения в отдельных дисциплинах (Академические стандарты обучения и преподавания): формулировка общих руководящих принципов и стратегических решений, какая оценка нужна для результатов выпускников США: проект GLOSSARI (Georgia Learning Outcomes of Students Studying Abroad Research Initiative ), оценка результатов высшего образования для студентов интернациональных программ (с участием русских студентов в Университете Индианы) США: проект VALUE ( Valid Assessment Learning in Undergraduate Education), 2009 отбор и оценка результатов бакалаврского образования с точки зрения междисциплинарных подходов; определение «метарубрик» для описания общих образовательных результатов в отдельных дисциплинах (Ассоциация Американских Колледжей и Университетов)

Оценка результатов образования: мировой опыт Уроки проектов Два направления проектного воздействия: описание и/или отбор результатов (что оценивать?) разработка подходов и методик (как оценивать?) Необходимость конкретного описания образовательных результатов (learning outcomes) для блоков дисциплин и отдельных дисциплин Разделение образовательных целей программы (компетенции и квалификации будущих профессионалов) и образовательных результатов (компетенции и их составляющие, которые формируются образовательной программой) Междисциплинарные подходы сочетаются с вниманием к конкретным дисциплинам

Опыт НИУ ВШЭ Участие в международном проекте AHELO (координация) Результаты? Сообщество вузов-участников проекта, знакомых с методикой и инструментарием, а также опробовавших технологию тестирования (ЭКСПЕРТЫ) Интернациональный характер результата (конкретных результатов пока нет, только рейтинги студентов по вузам) Пример инструментария, локализованного для стран- участниц, на основании которого можно разрабатывать свои (ядро содержания образования, пока знаниевый уровень)

Опыт НИУ ВШЭ Участие в международном проекте PIAAC (страновой уровень) Что дало (результаты)? инструментарий и методология измерения базовых компетенций Структура базовых компетенций (через аспекты оценки) Пример инструментария, локализованного для стран- участниц, на основании которого можно разрабатывать свой

Связь с описанием образовательных результатов Структура образовательного результата (в рамках компетенции) Мотивационная и ценностная составляющая СПОСОБЫ ДЕЯТЕЛЬНОСТИ (метапредметные умения, системные навыки, саморганизация) РЕСУРСНАЯ БАЗА (предметные знания, учебные умения, практические навыки) Формируется в рамках дисциплин Формируется всей ООП Формируется всей ООП + средой вуза + личным опытом вне формального образования

Оценка образовательных результатов Что и как оцениваем? Мотивационная и ценностная составляющая СПОСОБЫ ДЕЯТЕЛЬНОСТИ (метапредметные умения, системные навыки, саморганизация) РЕСУРСНАЯ БАЗА (предметные знания, учебные умения, практические навыки) Контроль в рамках дисциплин, тесты «остаточных знаний» Междисциплинарные экзамены, проекты, курсовые, ИГА, профессиональная сертификация Не подлежит индивидуальной формализованной оценке, срезовая тестовая/мониторинговая оценка

Подходы к способам оценивания образовательных результатов Минимально допустимый уровень освоения ООП? – единый бакалаврский экзамен (определение ядра подготовки, сочетание предметного и междисциплинарного подходов, установление пороговых значений) Компетенции? – адаптивное тестирование, компететностные тесты, деятельностные способы оценки (уровневая оценка, погружение в деятельность или симуляция деятельности) Минусы: «внутри» образования, не отражает побед, не настроен на инновационные программы Минусы: дороговизна, большие выборки национального или международного масштаба

Что сделано в НИУ ВШЭ? (промежуточные итоги) Определение дисциплин «ядра подготовки» Классификатор компетенций (позволяет сопоставлять результаты в разных образовательных программах), положен в основу разработки ОС НИУ ВШЭ Внутриуниверситетская система тестирования: банк тестов и заданий, «привязанных» к заявленным стандартами компетенциям, компететностно-ориентированные задания (КОТЗ) и обучающая форма к ним, методики оценки социально-личностных компетенций и мотивационно-ценностной составляющей компетенций, методики оценки универсальных компетенций в рамках профессиональных дисциплин

От оценки образовательных результатов к оценке программ Необходимо единство в описании «ядерных» образовательных результатов как элемента образовательной программы (общие подходы вузов + внешний взгляд на результат) Необходимы профессионально одобренные измерительные материалы и процедуры для оценки выбранных образовательных результатов (условие: сертификационный центр для самих материалов, для разработчиков материалов – при АВРЭМ)

От оценки образовательных результатов к оценке программ Необходимо сочетание разных типов измерений: срезовые данные по освоению содержания «ядра подготовки» (акцент на общем состоянии подготовки); измерение компетенций выпускника на выходе (акцент на индивидуальных достижениях, на «приращении» компетенций); выяснение мнений выпускников относительно отсроченных результатов (удовлетворенность программой, что дало образование в профессиональном смысле).