Институциональные исследования и принятие решений Владимир Бриллер, исполнительный директор отдела стратегического планирования и институциональных исследований. - презентация

1 Институциональные исследования и принятие решений Владимир Бриллер, исполнительный директор отдела стратегического планирования и институциональных исследований Институт им.Пратта, Нью-Йорк (США) Высшая школа экономики, Москва 18 октября 2012

2 Институциональные исследования Институциональные исследования (ИИ) практическая деятельность по проведению институтом самоанализа и оценки, включая оценку своей деятельности и своего положения в данной среде. Такая оценка проводится отделами институциональных исследований в вузах с целью обеспечить «комплексный ресурс информации об институте».

3 Постановка задачи Вы решили, что надо открыть новую программу или закрыть неэффективную программу. Какую информацию вам потребуется получить (и от кого), чтобы принять грамотное решение?

4 Институциональные исследования Ресурсы данных, как правило, включают информацию, получаемую из обследований, личных дел студентов и другой внутренней документации, отраслевых и национальных баз данных, отчетов и докладов, опубликованных исследований. Фактически оценивание, анализ и проверка гипотез проводятся по аспектам, требующим постоянного мониторинга, а также исследований возникающих проблем для принятия институтом информированных решений относительно своего развития.

5 Институциональные исследования для поддержки преподавательской деятельности и развития Диапазоны оценок (баллов) по конкретным предметам в долгосрочной перспективе и корреляция с изменяющимися характеристиками в когортах студентов в отношении к предшествующим достижениям. Воздействие отдельных компонентов (напр., модулей) на общую классификацию поставленных оценок, за период времени. Влияние размера (объема) элементов при непрерывно проводимой оценке на общее распределение поставленных оценок (баллов).

6 Институциональные исследования для поддержки преподавательской деятельности и развития Проходной балл, ниже которого риск отчисления (неуспеваемости) у студентов существенно повышается Важность математических способностей для общей успеваемости в естественнонаучных и инженерно- технических областях Показатели по числу заявлений абитуриентов, числу рекомендованных к зачислению, зарегистрированных и отчисленных студентов, которые отражают имеющийся спрос, отношения и практический опыт реализации программ.

7 Институциональные исследования для поддержки преподавательской деятельности и развития Пример вопроса преподавателя: На одном из моих курсов процент очень сильно вырос неуспевающих, хотя мои методы преподавания не менялись, и я не могу понять, почему это произошло. Возможные варианты ответов на основании данных ИИ: Изменились минимальные требования для поступающих Изменился фактический образовательный уровень (качество знаний) когорты абитуриентов до поступления в вуз

8 Институциональные исследования для поддержки преподавательской деятельности и развития Успеваемость по основным предметам для поступающих (английский язык, математика и др.). Изменения в численности класса. Изменения в национальном составе (для всех ли студентов английский родной язык?) Гендерные, возрастные, образовательные и социоэкономические характеристики, характеристики по типу посещаемости Диапазоны оценок (баллов), применяемых в долгосрочной перспективе при оценке курса

9 Институциональные исследования для поддержки преподавательской деятельности и развития Пример вопроса декана или завкафедрой: В моей программе процент студентов, успешно переходящих на следующий курс, низкий. Причины этого отчасти понятны, но я хочу серьезно заняться этой проблемой, и мне нужна полная картина происходящего. Возможные варианты ответов, на основании данных ИИ: Каковы характеристики студенческого состава сейчас, как он изменился за последнее время и каких изменений можно ожидать в будущем? С какими конкретно компонентами программы в наибольшей степени связан отсев/неспособность окончить обучение? Каково отношение студентов к программе и их общие практические результаты обучения в вузе? Насколько реалистичны связанные с программой ожидания студентов до их поступления?

10 Институциональные исследования для поддержки преподавательской деятельности и развития Нужно ли пересмотреть/отрегулировать требования для поступающих с учетом изменившихся стандартов или программ обучения вне Института? Может ли изменение содержания программы, обеспечение дополнительной помощи в проблемных областях помочь студентам успешно освоить программу?

11 Ситуационное исследование: отношения, практический опыт и характеристики, влияющие на успешное окончание студентами вуза Особое внимание первокурсникам Использована информация из базы данных студентов и информация, полученной из серии трех студенческих опросов В опросах отслеживались изменения в отношениях, а также академической успеваемости на первом курсе. В исследовании также устранялись факторы, фактически не влияющие на успешную успеваемость студентов.

12 Цели исследования Изучить широкий спектр различных аспектов практического опыта студентов начальных курсов с целью выявления факторов, которые могут влиять на успешное завершение обучения по программе. Выявить факторы и взаимоотношения, от которых зависят качественные характеристики опыта студентов. Изучить отношения между ожиданиями, имевшимися до поступления, и реальным опытом обучения в вузе. Определить факторы, негативно влияющие на процент студентов, которые успешно переходят на следующий курс, чтобы направить усилия и ресурсы на самые потенциально значимые факторы.

13 Опрос 1: В момент поступления Демографические данные Самооценка личных качеств, в т.ч. настойчивости, математических и письменных способностей, амбициозности, академических способностей и уверенности в своих силах; Факторы, негативно влияющие на решение учиться в университете; Уровень предварительного понимания программы; Ожидания относительно затрат времени на выполнение конкретных работ, на учебу и на общественную жизнь Ожидаемые трудности

14 Опрос 1: В момент поступления Каково представление об ответственности в обучении и о роли преподавателя Приоритеты на период учебы в университете, амбиции в академических областях и карьерные цели Уровень образования членов семьи Финансовые проблемы Восприятие того, что включает в себя опыт обучения в вузе в практическом отношении Ожидаемые наилучшие и наихудшие составляющие учебы в университете

15 Опрос 2: Конец первого полугодия Сравнение ответов студентов с предыдущим опросом Самооценка личных качеств Уровень предварительного понимания программы Фактическое время, затраченное на конкретные виды деятельности С какими трудностями столкнулись Представление об ответственности в обучении и о роли преподавателя Приоритеты на период учебы в университете, амбиции в академических областях и карьерные цели

16 Опрос 2: Конец первого полугодия Финансовые проблемы Самое хорошее и самое плохое, на основании полученного на текущий момент опыта учебы Самостоятельно отмечаемые изменения в восприятии того, что представляет из себя учеба в вузе, после окончания одного семестра Какими службами студенты пользовались для получения помощи и поддержки Интеграция в жизнь студенческого городка / чувство сопричастности

17 Опрос 3: Конец первого курса Академические ведомости, включая оценки из средней школы и баллы ЕГЭ (SAT/ACT), а также порядок приоритетности института, в который поступили респонденты, указанный ими при зачислении Экзаменационные результаты, полученные в течение года, в том числе оценки за текущую успеваемость Результаты окончания первого курса Другие формальные результаты, внесенные в ведомость, в т.ч. записи об отчислении и причинах отчисления, изменениях факультативных элементов программы, переводе Процент успешно окончивших обучение на институтском и программном уровне.

18 Другие кейсы/исследования Факторы, влияющие на процент студентов, переходящих на следующий курс и успешно оканчивающих обучение Factors affecting student retention and graduation Барьерные курсы Квалификационные тесты при поступлении и их влияние на последующее успешное освоение студентом курса обучения Баллы SAT (аналог российского ЕГЭ) как предикторы настойчивости студента в обучении

19 Организация набора

20 НАБОР СТУДЕНТОВ Образовательный конвейер Понимать, как студенты делают выбор ~ Маркетинговые исследования, показывающие, какие факторы влияют на студентов при подаче заявления, приеме и зачислении в институт ~ Базы данных и программное обеспечение для анализа, с помощью которых институт получает возможность найти, заинтересовать и привлечь своих студентов на «конвейере»

21 НАБОР СТУДЕНТОВ ~ Произвести анализ тенденций, сравнив характеристики абитуриентов текущего года с характеристиками абитуриентов прошлых лет на один и тот же момент времени ~ Сравнить студентов, прошедших конкурсный отбор, которые в конечном итоге принимают решение подавать документы для зачисления, с теми, кто документы не подал ~ Предоставить институциональные данные в рейтинговые службы (агентства, составляющие рейтинги вузов) ~ Предоставить данные о том, каков имидж (восприятие) института среди студентов и родителей, по сравнению с восприятием коллег в профессиональной среде

22 НАБОР СТУДЕНТОВ Процент зачисленных из числа рекомендованных к зачислению: ~ % рекомендованных к зачислению ~ % зачисленных в первой волне План набора: 1.Каковы потребности института? 2.Каковы параметры анализа? 3.Каков временной горизонт? 4.Какую методологию следует использовать? 5.Каким должно быть соотношение качественных и количественных исходных данных?

23 НАБОР СТУДЕНТОВ Финансовая поддержка 1.Какова политика вуза в предоставлении финансовой помощи? Кто определяет эту политику? Насколько хорошо интегрированы между собой политика набора и политика предоставления финансовой помощи? 2.Какие виды финансовой помощи можно получить? Каким критериям должны соответствовать студенты? 3.В какой «упаковке» предлагается фин.помощь? Как и когда она предлагается студентам? Как она выплачивается? 4.Каково соотношение стипендий, займов и возможностей трудоустройства для студентов? 5.Как обеспечивается баланс между такими функциями фин.помощи, как набор и удержание студентов?

24 НАБОР СТУДЕНТОВ 1.Какая статистика представлена в отчетности департамента фин.помощи? (примеры) ~ Сколько студентов получают помощь? Сколько новых студентов? Сколько студентов продолжают получать помощь? ~ Сколько получают гранты/стипендии? Займы? Пакеты «учеба + работа»? ~ Скольким студентам выдается помощь на конкретные нужды? Сколько сообщают о том, что их нужды не удовлетворены? ~ Каков объем выплат фин. помощи? Каков чистый доход от платы, вносимой за обучение? ~ Какова общая стоимость обучения в вузе для студента (в год)?

25 НАБОР СТУДЕНТОВ ~ Каков уровень долгового обременения студентов? ~ Как изменяются эти цифры в зависимости от демографических данных и других характеристик? ~ Какие тенденции складываются в долгосрочной перспективе? Национальные проблемы: Взаимосвязь между фин. помощью, платой за обучение и общей стоимостью обучения в вузе Влияние политики федерального и субъектового уровня в сфере финансовой помощи Использование «скидок» для эффективного набора студентов Быстрая эскалация студенческих займов и долговых обязательств

26 Студенческий поток Академическая подготовка Отбор студентов Зачисление студентов в программу обучения Другие академические активы Учебный план Виды обучения Атмосфера в кампусе Академические программы и программы поддержки для студентов Формативное оценивание (процесс) Суммативное оценивание (конечный результат)

27 Студенческий поток Процент студентов, успешно переходящих на следующий курс и оканчивающих обучение 1.Повышение процента студентов, успешно переходящих на следующий курс и оканчивающих обучение в институте 2.Увеличение процента студентов программ ниже уровня бакавриата (associate degree – 2-летние программы обучения с дипломом специалиста), переводящихся на программы бакалавриата и успешно оканчивающих их 3.Сокращение времени до получения диплома 4.Устранение дисбаланса между недостаточно представленными группами и другими группами студентов 5.Усиление академической подготовки связь между набором и удержанием студенческого контингента 6.Внедрение и оценка эффективных и действенных программ для удержания студенческого контингента

28 Студенческий поток Описательные данные Многофакторный анализ Качественные методы 1.Обзорные исследования 2.Интервьюирование 3.Фокус-группы Экспертные данные

29 Студенческий поток Помимо получения диплома: 1.Общее качество и обучение выпускников/ студентов вуза. 2.Подготовка выпускников в конкретных областях: навыки письменной речи, технические навыки, аргументация на основе количественных данных, устные коммуникации, лидерские качества и навыки работы в команде. 3.Открытость кампуса и доступность студентов для интервьюирования работодателям. 4.Тенденции в сфере найма в прошлом и ожидаемые перспективы в будущем.

30 Аттестационная оценка Операционные определения/ условия Кто проводит оценку; движущие силы Оценивание институциональной эффективности Оценивание конечных результатов обучения студентов Смешанная оценка Полезные результаты и проблемные аспекты Вопросы и проблемы

31 Постановка задачи Перечислите все факторы, которые вы используете для оценивания студентов / преподавателей / административного персонала

32 Институциональные исследования и аттестационная оценка Аттестационная оценка – это процесс, построенный на получении ответов на поставленные вопросы, цель которого привести сформулированные вами намерения в соответствие с документально подтверждаемой реальностью. В высшем образовании этот процесс связан с курсами, программами, политикой, процедурами и оперативной деятельностью.

33 Оценочный анализ: операционное определение Оценочный анализ направлен на анализ результатов индивидуальной эффективности в отношении выполнения работы и ее качества; как правило, результатом такой оценки является получение повышения за достигнутые успехи, планы дальнейшего усовершенствования, или при менее благоприятных результатах испытательный срок с возможным увольнением.

34 Аттестационная оценка и оценочный анализ Аттестационная оценка (assessment) обращена на работу, которую надо выполнить, конечные результаты и воздействие, оказываемое на других но не на людей, которые делают эту работу. Оценочный анализ (evaluation) обращен на работу отдельных людей их вклад, эффективность, креативность, ответственность, вовлеченность и любые другие факторы, которые, по мнению организации, являются наиболее желательными.

35 Оценка институциональной эффективности вместо оценки обучения студентов Институциональная эффективность = результаты оперативных процессов, политики, обязанностей и объектов и их успешная совместная работа для обеспечения управления вузом. Обучение студентов = результаты учебной и внеучебной деятельности, предназначенной для получения студентами знаний и навыков.

36 Кто или что является движущей силой при проведении аттестационной оценки? Аккредитирующие органы... должны определять достойные институты и программы и отсеивать недостойные должны обеспечивать проверку практической деятельности, которая влияет на жизнеспособность и устойчивость института и предлагаемых им программ представляют дисциплинарные и институциональные интересы

37 Движущие силы при проведении оценки (продолжение) Общественность: «башня из слоновой кости», либеральный наклон, рейтинги Законодатели: в ответ на обеспокоенность общественности по поводу качества, цен, сдвигов и отклонений... или? Будущие преподаватели: качество и значимый вклад в жизнь студентов Будущие родители: реальное изучение и подготовка к профессиональной карьере Будущие студенты: Как я буду соответствовать требованиям? И какую работу я смогу получить после получения диплома? Финансирующие агентства/фонды: доказательства стремления к обучению и знаниям, и подтверждение [предшествующих] успехов

38 Реалии высшего образования Высокая конкуренция в сфере высшего образования –Национальные рейтинги –Институциональные данные и исследования –Маркетинг –Рыночные ниши Стоимость обучения Потребительские восприятия студентов: долгосрочные результаты обучения и институциональная эффективность

39 Вопросы институционального качества Можем ли мы подтвердить стоимость/цены на учебу? Можем ли мы подтвердить качество наших образовательных продуктов в измеримых понятиях? Можем ли мы подтвердить эффективность операционных факторов, влияющих на долгосрочную стабильность образовательной деятельности? Можем ли мы использовать данные и другие полученные сведения для улучшения качества наших предлагаемых образовательных программ и видов деятельности? Можем ли мы использовать эти данные для оптимизации ресурсов (финансовых, персональных, учебных и внеучебных) в целях улучшения конечных результатов?

40 Пункты институциональной эффективности Процессы [наличие и прозрачность] –Набор: конкурсный отбор, финансовая помощь, регистрация/зачисление –Учебная активность: консультирование, последовательное продвижение к получению диплома/степени –Бюджет: операционная деятельность/зарплаты, капитал, рейтинги и удельный вес облигаций, управление фондами, льготы и т. д. –Планирование: стратегическое планирование, контрактное планирование, планирование учебного процесса и т. д. –Юридические вопросы: образование/профессиональная подготовка, коммуникации, санкции и т. д. –Вопросы проживания: подбор жилья, подготовка помощников по жилищным вопросам, урегулирование конфликтов/посредничество

41 Пункты институциональной эффективности Операционные подразделения/департаменты: –По вопросам перевода на следующий уровень –По вопросам приема, казначей, архивариус –Консультативный центр, обеспечение учебного процесса и т. д. –По обеспечению безопасности в кампусе –По техническому обслуживанию –По информационным технологиям (IT) –По институциональным исследованиям –По спортивным занятиям –По организации студенческой активности

42 Аттестационный цикл: Ключевые вопросы для оценки институциональной эффективности Какие услуги, программы или блага должны предоставлять наши подразделения? С какими целями или для получения каких конкретных результатов? Какие у нас есть подтверждения того, что они выполняют данные задачи (предоставляют нужные результаты)? Как мы можем использовать информацию для улучшения результатов или признания успехов и заслуг? Эффективны ли те улучшения, которые мы вводим?

43 К чему мы стремимся? ПРИМЕРЫ обоснованных данных: Прием студентов, которые при подаче документов указывают наш институт первым по приоритетности, вырос у нас на 20 %. 90 % студентов указывают, что удовлетворены процессами подбора жилья и размещения. В последнем цикле стратегического планирования участвовали 4 преподавательских и 2 студенческих комитета. В целом профессорско-преподавательский состав, персонал и студенты указывают, что ощущают себя в безопасности на территории кампуса после реализации новых инициатив по повышению безопасности.

44 В каких областях мы стремимся к улучшениям [и какие подтверждающие данные нам помогут]? Нам необходимо увеличить прием студентов, которые при подаче документов указывают наш институт первым по приоритетности, до уровня 50 % до 2017 года. Все преподавательские комитеты будут приглашены к участию в следующем цикле планирования. Студенты (95 %) будут указывать, что ощущают себя в безопасности на территории кампуса и в прилегающих районах. Преподавание по зачетным дисциплинам в объеме 50 % почасовой нагрузки будет обеспечиваться штатными преподавателями.

45 Какие характеристики свидетельствуют об институциональной эффективности? Четко проработанный ряд процессов для обеспечения важнейших функций. Четко определенные сферы ответственности и подотчетности для важнейших функций. Уровень значимости той или иной функции подкрепляется соответствующими ресурсами (кадровыми, бюджетными, в сфере обучения и профессиональной подготовки и др.) для обеспечения этой функции. Подтверждение понимания в масштабах всего института значимости этих важнейших функций, процессов и сфер ответственности

46 Какие доказательства подтверждают институциональную эффективность? Четкое исполнение бюджетов Аккредитация и соответствие государственным требованиям Четко определенные и обеспеченные всем необходимым сферы/органы совместного управления (правление, президент, администрация, преподаватели, персонал и студенты) Коммуникационные каналы и стратегии [прозрачность] Консенсус относительно миссии, стратегического плана, целей, приоритетов и т. д. Удовлетворенность студентов (и других клиентов)

47 Как измерить институциональную эффективность? Практически значимые доказательства: заключения о результатах бюджетной аудиторской проверки, данные по набору, институциональные данные Ведомости/отчеты о проводимой деятельности и/или выполнении требований Самоанализ, представляющий документальные подтверждения Исследования/опросы для оценки удовлетворенности, пользовательской активности, отношений, доверия и т. д. Дисциплинарные отчеты в аккредитирующие органы

48 Аттестационный цикл: Ключевые вопросы для оценивания обучения студентов Что наши студенты должны знать или уметь к моменту выпуска? Какие у нас есть подтвержденные данные о том, что они все это знают и умеют? Как мы можем использовать информацию для улучшения результатов или признания успехов и заслуг? Эффективны ли те улучшения, которые мы вводим?

49 Итеративный цикл оценки институциональной эффективности Миссия / цели Цели / задачи Конечные результаты Применение методов для сбора доказательств Сбор доказательств Интерпретация доказательств Принятие решений по улучшению программ, услуг или благ; обогащение институционального опыта; предоставление информации для принятия информированных решений, планирования, выполнения бюджета, разработки политики, подотчетности перед обществом

50 Оценивание обучения студентов: Что должны студенты знать или уметь продемонстрировать к моменту окончания вуза? Вовлеченность в жизнь гражданского общества Толерантное отношение к проявлениям разнообразия Коммуникативные навыки Профессиональная ответственность Этические нормы Критическое мышление Совместное обучение Лидерство Компетентность в математических науках или количественном анализе Технологическая компетентность Научная компетентность Исследовательские навыки Культуральная компетентность Междисциплинарная компетентность Гражданская компетентность Компетентность в глобальных вопросах Экономическая/финансовая компетентность Социальная справедливость

51 Что мы можем использовать в качестве источников подтвержденных данных? Курсовые работы (эссе)/диссертации Портфолио (оценки преподавателями или внешними экспертами) Результаты устных или письменных проверок Устные выступления/презентации Результаты выполнения домашних работ Лабораторные работы/эксперименты Тесты/экзамены Журнальные записи Проекты Демонстрационные материалы

52 К чему мы стремимся? Получить подтверждения уровня овладения навыками у студентов (от уровня базовой компетентности до мастерства): основанных на сформулированных преподавателями стандартах качества и самостоятельных суждениях применяемых одинаково беспристрастно ко всем студенческим работам определяющих совокупную оценку результатов деятельности или знаний информативных в плане совершенствования курсов или программ

53 Можно ли использовать одни и те же процессы и стратегии для оценки в обеих областях? Количественная оценка обучения вместо оценки эффективности, производительности и/или удовлетворенности - УХОДИТЬ ОТ ЧАСТНЫХ СЛУЧАЕВ НА УРОВЕНЬ ПОДТВЕРЖДЕННЫХ ДАННЫХ Методы на основе проверки знаний (тестов), проектов, демонстрационного материала вместо обследований, документов, отчетов - ОПРЕДЕЛЯТЬ РЕЗУЛЬТАТЫ В КОЛИЧЕСТВЕННЫХ ИЛИ КАЧЕСТВЕННЫХ ПОКАЗАТЕЛЯХ Использование результатов (пересмотр и проверка вместо обучения/ подготовки) - ИЗМЕНЯТЬ ТО, ЧТО ДЕЛАЕМ, ЧТОБЫ ВОЗДЕЙСТВОВАТЬ НА КОНЕЧНЫЙ РЕЗУЛЬТАТ

54 Что у них общего? Решимость и готовность выполнять работу как можно лучше в любых имеющихся условиях Готовность искать пути, с помощью которых можно менять условия, влияющие на конечный результат Готовность признавать, что меняя конечный результат, можно изменить сами условия.

55 В конечном итоге.... Мы возлагаем на себя и своих коллег ответственность за четкую формулировку намерений нашей работы, а затем и за оценку реалий, результатом которой является разработка и внедрение стратегий улучшения ситуации в долгосрочной перспективе Как у нас обстоят дела в этом? Что мы можем сделать, чтобы добиться лучшего результата?

56 Общие институциональные исследования Департамент институциональных исследований обеспечивает широкий спектр услуг: Подготовка материалов с изложением основных фактов Отчетность по таким показателям, как процент студентов, успешно переходящих на следующий курс, а также оканчивающих обучение Отчетность федеральным органам власти Национальные и профессиональные исследования/опросы Внутренние исследования/опросы и т. д.

57 Постановка задачи Какие параметры вы используете для сравнения вашего института, подразделения, факультета или департамента с другими институтами и коллегами?