ИНСТИТУЦИОНАЛЬНЫЕ ИССЛЕДОВАНИЯ И ПРИНЯТИЕ РЕШЕНИЙ Магистерская программа «Управление в высшем образовании» Владимир Бриллер, д.п.н. Исполнительный директор по стратегическому планированию и институциональным исследованиям Институт Пратта, Нью Йорк Высшая Школа Экономики, Москва 12 октября, 2015 г.

КЕЙС: ФАКУЛЬТЕТ ИНФОРМАЦИОННЫХ И БИБЛИОТЕЧНЫХ НАУК ПРАТТА Магистр библиотечных и информационных наук Магистр библиотечных и информационных наук/Юрист Специалист по информационным наукам/средствам массовой информации Пост-магистерский сертификат по архивам Сертификат по музейным библиотекам

ГРАНТЫ И ПУБЛИКАЦИИ Гранты – $3 миллиона; Публикации 3 в год на одного преподавателя с полной нагрузкой в изданиях с высокой репутацией; Презентации на международных и национальных конференциях; Приглашения читать лекции в Гарварде, Оксфорде и Кембридже.

Востребованность Основная компетенция выпускников факультета: Нахождение, организация, анализ и распространение информации в форме оптимальной для пользователей. Места работы выпускников: компании высоких технологий, крупные промышленные корпорации, рекламные агентства, везде, где нужны те, кто умеют «управлять знанием». Их особенно много в Нью Йоркской «Силиконовой Аллее».

Количество студентов и преподавателей ГОД СТУДЕНТЫ ПРЕПОДАВАТЕЛИ 2007 – 354 – почасовиков – 190 – почасовиков

ЧТО ДЕЛАТЬ? Какие варианты решений Вы могли бы предложить по восстановлению набора?

ИНСТИТУЦИОНАЛЬНЫЕ ИССЛЕДОВАНИЯ И ПРИНЯТИЕ РЕШЕНИЙ

Мы верим в Бога; всем остальным просьба предоставить достоверную информацию. У. Э. Деминг. В сб. Аналитика как конкурентное преимущество. Новая наука побеждать. Под ред. Тома Давенпорта и Джоан Харрис

Краткая история ИИ Конференция в Стэнфорде - лекция Коули о структуре Йелльского университета Лекции по Институциональным Исследованиям (Axt & Strague, 1960) Брамбо - "Исследования для совершенствования вузов": "Ключ к эффективному управлению вузом лежит в способности президента и администрации задавать верные вопросы и получать верные ответы...основанные на достоверной информации, которую могут предоставить только институциональные исследования.".

Краткая история Ассоциация Институциональных Исследований (США): 1. Исследования, основанные на интересе отдельных вузов к собственным уникальным характеристикам. 2. Различные виды анкетирования, проводившиеся в вузах профессиональными и иными ассоциациями. 3. Создание специальных исследовательских комитетов, бюро, офисов в больших исследовательских университетах, занимающихся анализом деятельности вуза.

МОДУЛЬ 1 Цели: - Знать концепции, методики и содержание практических исследований и информационных систем, поддерживающих принятие решений ВУЗом. - Знать особенности организации институциональных исследований, включая организацию офиса и обязанности всех его работников.

МОДУЛЬ 1 Цели: - Ориентироваться в основных видах деятельности отдела институциональных исследований: использование государственных статистических данных ( ); планирование и бюджет; управление набором в ВУЗ и прогнозирование набора; изучение преподавательского состава и анализ работы преподавателей;

МОДУЛЬ 1 Цели: - Ориентироваться в основных видах деятельности отдела институциональных исследований: институциональная эффективность и аккредитация; эффективность образования, предоставляемого ВУЗом; и, результативность обучения студентов. - Знать, какой именно отдел институциональных исследований необходим ВУЗу.

Организация офиса институциональных исследований (ИИ) Директор Внешняя и внутренняя отчетность Планирование и специальные проекты Управление данными и техническая поддержка Исследования и развитие

Внешняя и внутренняя отчетность Предоставление отчетности соответствующим федеральным, региональным и отраслевым органам, например, "ВУЗ ведет бухгалтерский учет и представляет бухгалтерскую, финансовую и статистическую отчетность в порядке, установленном Министерством финансов Российской Федерации, иные виды государственной отчетности, а также ведет налоговый учет и представляет в налоговые органы по месту регистрации все необходимые отчеты и документы." (НИУ ИТМО)

1. Образовательная деятельность: средний балл ЕГЭ студентов, принятых по результатам ЕГЭ на обучение по очной форме по программам подготовки бакалавров и специалистов за счет средств соответствующих бюджетов бюджетной системы Российской Федерации или с оплатой стоимости затрат на обучение физическими и юридическими лицами (средневзвешенное значение); 2. Научно-исследовательская деятельность: объем НИОКР в расчёте на одного НПР; Внешняя и внутренняя отчетность (примеры)

Внешняя и внутренняя отчетность (МОиН) 3. Международная деятельность: удельный вес численности иностранных студентов, завершивших освоение ООП ВПО, в общем выпуске студентов (приведённый контингент); 4. Финансово-экономическая деятельность: доходы вуза из всех источников в расчете на одного НПР; 5. Инфраструктура: общая площадь учебно- лабораторных зданий в расчете на одного студента (приведенного контингента), имеющихся у вуза на праве собственности и закрепленных за вузом на праве оперативного управления.

Планирование и специальные проекты Исследования по поддержке принятия решений. Сравнительный анализ (benchmarking). Прогнозирование набора. Прогнозирование дохода.

Управление данными и техническая поддержка Базы данных: -Студентов -Преподавателей -Администрации и других кадров -Выпускников -Финансов Техническая поддержка оборудования и программного обеспечения

Исследовательская работа Оценка эффективности Оценка результативности Исследования с помощью анкетирования Изучение выпускников Изучение работодателей

Функции отдела институциональных исследований Отдел институциональных исследований предоставляет всестороннюю поддержку широкому спектру внешних и внутренних участников процесса высшего образования. Перед отделом стоят три основные задачи: 1. Поддерживать процессы стратегического планирования и принятия решений вуза; 2. Инициировать институциональные исследования, ведущие к принятию образовательной политики; 3. Способствовать повышению качества учебного процесса, проводя всевозможные оценочные исследования.

Что изучает отдел ИИ 1. Управление набором студентов и другие вопросы, связанные со студентами: акцент на студентов; как они выбирают вуз, поступают, учатся и выпускаются из образовательных учреждений; профиль студентов и их финансовое состояние, в том числе, помощь, оказываемая вузом. 2. Институциональную эффективность; насколько успешно учатся студенты. Особого внимания заслуживают вопросы, связанные с измерениями и сбором информации.

Что изучает отдел ИИ 3. Академические программы и вопросы, связанные с преподавателями: исследования куррикулума, учебной, научной и общественной деятельности, политику в области найма (tenure), анализ учебных программ, набор преподавателей, управление персоналом и другие вопросы. 4. Управлением ресурсами и повышение качества: размещение ресурсов, бюджетные и финансовые вопросы, инициативы по сокращению стоимости, институциональное развитие.

Что изучает отдел ИИ 5. Анализ результативности политики, планирование и управление, в том числе, анализ эффективности принятых решений. 6. Теория и практика: как ставятся задачи исследования, ограничения и управление функциями. 7. Техника и инструменты: использование компьютерных технологий, статистических методов, эконометрики, биометрики и психометрии.

Двойственность институциональных исследований

Двойственность Внутренние требования Внешние требования Административная культура Академическая культура Институциональные потребности Профессиональные потребности

Внутренние Внешние Тр ебования Администрация вуза должна отчитываться перед Попечительским Советом и правительством, как она выполняет свои обязанности. Администрация должна контролировать следующие внутренние аспекты университетской деятельности: ~ согласование управления ВУЗом; ~ управление учебным процессом ППС; ~ организационную культуру, которая поддерживает добавление ресурсов вместо перераспределения ресурсов; ~ структуру куррикулума, который ошибочно предполагает гомогенность обучающихся.

Административная Культура Академическая Культура Административная культура: управление и ответственность основаны на звании и должности. Коммуникация и принятие решений иерархичны и основаны на разделении труда и делегированной ответственности. Академическая культура: управление основано на знании и опыте. Коммуникация и принятие решений по преимуществу коллегиальные.

Институциональные Профессиональные потребности Институциональная роль ППС – преподавание, но большая часть ППС не обучались преподавать, хотя и наняты на работу в качестве преподавателей. Профессиональная роль ППС – академическая – исследовательская работа и получение нового знания. Несмотря на это, вознаграждение, в большинстве случаев, основывается на стаже, а не на качестве выполняемой академической и исследовательской работы.

Институциональные Исследования - процесс Институциональные исследования – это практика самооценивания, в ходе которой вуз оценивает свою деятельность и положение в данных условиях. Задача любого офиса институциональных исследований – проводить измерения и оценивание для получения достоверной информации о вузе.

Задание Вы решили открыть новую специальность на Вашей кафедре, но Ваши ресурсы ограничены, и Вам придется закрыть одну, с Вашей точки зрения, неэффективную специальность. Какая информация (и из каких источников) Вам потребуется для того, чтобы принять грамотное решение?

Институциональные Исследования (ИИ) Источником данных обычно являются базы данных студентов, преподавателей и других сотрудников, результаты анкетирования, секторальные и национальные базы данных и отчеты и опубликованные исследования. Оценивание в реальном времени, анализ и тестирование гипотез требуют непрерывного мониторинга и исследования возникающих проблем для того, чтобы вуз мог принимать оптимальные решения, относящиеся к собственному развитию.

ИНСТИТУЦИОНАЛЬНЫЕ ИССЛЕДОВАНИЯ И ПРИНЯТИЕ РЕШЕНИЙ Магистерская программа «Управление в высшем образовании» Владимир Бриллер, д.п.н. Исполнительный директор по стратегическому планированию и институциональным исследованиям Институт Пратта, Нью Йорк Высшая Школа Экономики, Москва 14 октября, 2015 г.

ИИ для поддержки преподавательской деятельности и развития Диапазоны оценок (баллов) по конкретным предметам в долгосрочной перспективе и корреляция с изменяющимися характеристиками в когортах студентов в отношении к предшествующим достижениям. Воздействие отдельных компонентов (напр., модулей) на общую классификацию поставленных оценок, за период времени. Влияние размера (объема) элементов при непрерывно проводимой оценке на общее распределение поставленных оценок (баллов).

ИИ для поддержки преподавательской деятельности и развития Проходной балл ЕГЭ, ниже которого риск отчисления (неуспеваемости) у студентов существенно повышается Важность гуманитарных способностей для общей успеваемости в естественнонаучных и инженерно- технических областях Показатели по числу заявлений абитуриентов, числу рекомендованных к зачислению, зарегистрированных и отчисленных студентов, которые отражают имеющийся спрос, отношения и практический опыт реализации программ.

ИИ для поддержки преподавательской деятельности и развития Пример вопроса преподавателя: На одном из моих курсов очень сильно вырос процент неуспевающих, хотя мои методы преподавания не менялись... Возможные варианты ответов на основании данных ИИ: Изменились минимальные требования для поступающих Изменился фактический образовательный уровень (качество знаний) когорты абитуриентов до поступления в вуз

ИИ для поддержки преподавательской деятельности и развития Успеваемость по основным предметам для поступающих (английский язык, математика и др.). Изменения в численности класса. Изменения в национальном составе (для всех ли студентов английский родной язык?) Гендерные, возрастные, образовательные и социально- экономические характеристики, характеристики по типу посещаемости Диапазоны оценок (баллов), применяемых в долгосрочной перспективе при оценке курса

ИИ для поддержки преподавательской деятельности и развития Пример вопроса декана или завкафедрой: У меня большой отсев студентов после первого курса. Причины этого отчасти понятны, но я хочу серьезно заняться этой проблемой, и мне нужна полная картина происходящего. Возможные варианты исследований ИИ: Каковы характеристики студенческого состава сейчас, как он изменился за последнее время и каких изменений можно ожидать в будущем?

ИИ для поддержки преподавательской деятельности и развития С какими конкретно компонентами программы в наибольшей степени связан отсев/неспособность окончить обучение? Каково отношение студентов к программе и каковы практические результаты обучения?

ИИ для поддержки преподавательской деятельности и развития Насколько реалистичны ожидания, связанные с программой обучения студентов, до их поступления? Нужно ли пересмотреть/отрегулировать требования для поступающих с учетом изменившихся стандартов или программ обучения вне вуза? Может ли изменение содержания программы, обеспечение дополнительной помощи в проблемных областях помочь студентам успешно освоить программу?

Ситуационное исследование: отношения, практический опыт и характеристики, влияющие на успешное окончание студентами вуза Особое внимание первокурсникам Использована информация из базы данных студентов и информация, полученная из серии трех студенческих опросов В опросах отслеживались изменения в отношении, а также академической успеваемости на первом курсе. В исследовании также устранялись факторы, фактически не влияющие на успешную успеваемость студентов.

Цели исследования Изучить широкий спектр различных аспектов практического опыта студентов начальных курсов с целью выявления факторов, которые могут влиять на успешное завершение обучения по программе. Выявить факторы и взаимоотношения, от которых зависят качественные характеристики опыта студентов. Изучить отношения между ожиданиями, имевшимися до поступления, и реальным опытом обучения в вузе. Определить факторы, негативно влияющие на процент студентов, которые успешно переходят на следующий курс, чтобы направить усилия и ресурсы на самые потенциально значимые факторы.

Опрос 1: В момент поступления Демографические данные Самооценка личных качеств, в т.ч. настойчивости, математических и письменных способностей, амбициозности, академических способностей и уверенности в своих силах; Факторы, негативно влияющие на решение учиться в университете; Уровень предварительного понимания программы; Ожидания относительно затрат времени на выполнение конкретных работ, на учебу и на общественную жизнь Ожидаемые трудности

Опрос 1: В момент поступления Каково представление об ответственности в обучении и о роли преподавателя Приоритеты на период учебы в университете, амбиции в академических областях и карьерные цели Уровень образования членов семьи Финансовые проблемы Восприятие того, что включает в себя опыт обучения в вузе в практическом отношении Ожидаемые лучшие и худшие составляющие учебы в университете

Опрос 2: Конец первого полугодия Сравнение ответов студентов с предыдущим опросом Самооценка личных качеств Уровень предварительного понимания программы Фактическое время, затраченное на конкретные виды деятельности С какими трудностями столкнулись Представление об ответственности в обучении и о роли преподавателя Приоритеты на период учебы в университете, амбиции в академических областях и карьерные цели

Опрос 2: Конец первого полугодия Финансовые проблемы Самое хорошее и самое плохое, на основании полученного на текущий момент опыта учебы Самостоятельно отмечаемые изменения в восприятии того, что представляет из себя учеба в вузе, после окончания одного семестра Какими службами студенты пользовались для получения помощи и поддержки Интеграция в жизнь студенческого городка / чувство сопричастности

Опрос 3: Конец первого курса Академические ведомости, включая оценки из средней школы и баллы ЕГЭ (SAT/ACT), а также порядок приоритетности института, в который поступили респонденты, указанный ими при зачислении Экзаменационные результаты, полученные в течение года, в том числе оценки за текущую успеваемость Результаты окончания первого курса Другие формальные результаты, внесенные в ведомость, в т.ч. записи об отчислении и причинах отчисления, изменениях факультативных элементов программы, переводе Процент успешно окончивших обучение на институтском и программном уровне.

Другие кейсы/исследования Факторы, влияющие на процент студентов, переходящих на следующий курс и успешно оканчивающих обучение Барьерные дисциплины Квалификационные тесты при поступлении и их влияние на последующее успешное освоение студентом курса обучения Баллы SAT (аналог российского ЕГЭ) как предикторы настойчивости студента в обучении

Организация набора

НАБОР СТУДЕНТОВ Образовательный конвейер Понимать, как студенты делают выбор ~ Маркетинговые исследования, показывающие, какие факторы влияют на студентов при подаче заявления, приеме и зачислении в институт ~ Базы данных и программное обеспечение для анализа, с помощью которых институт получает возможность найти, заинтересовать и привлечь своих студентов на «конвейере»

НАБОР СТУДЕНТОВ ~ Произвести анализ тенденций, сравнив характеристики абитуриентов текущего года с характеристиками абитуриентов прошлых лет на один и тот же момент времени ~ Сравнить студентов, прошедших конкурсный отбор, которые в конечном итоге принимают решение подавать документы для зачисления, с теми, кто документы не подал ~ Предоставить институциональные данные в рейтинговые службы (агентства, составляющие рейтинги вузов) ~ Предоставить данные о том, каков имидж (восприятие) института среди студентов и родителей, по сравнению с восприятием коллег в профессиональной среде

НАБОР СТУДЕНТОВ Процент зачисленных из числа рекомендованных к зачислению: ~ % рекомендованных к зачислению ~ % зачисленных в первой волне План набора: 1. Каковы потребности института? 2. Каковы параметры анализа? 3. Каков временной горизонт? 4. Какую методологию следует использовать? 5. Каким должно быть соотношение качественных и количественных исходных данных?

НАБОР СТУДЕНТОВ Финансовая поддержка 1. Какова политика вуза в предоставлении финансовой помощи? Кто определяет эту политику? Насколько хорошо интегрированы между собой политика набора и политика предоставления финансовой помощи? 2. Какие виды финансовой помощи можно получить? Каким критериям должны соответствовать студенты? 3. В какой «упаковке» предлагается фин.помощь? Как и когда она предлагается студентам? Как она выплачивается? 4. Каково соотношение стипендий, займов и возможностей трудоустройства для студентов? 5. Как обеспечивается баланс между такими функциями фин.помощи, как набор и удержание студентов?

НАБОР СТУДЕНТОВ 1. Какая статистика представлена в отчетности департамента финансовой помощи? (примеры) ~ Сколько студентов получают помощь? Сколько новых студентов? Сколько студентов продолжают получать помощь? ~ Сколько получают гранты/стипендии? Займы? Пакеты «учеба + работа»? ~ Скольким студентам выдается помощь на конкретные нужды? Сколько сообщают о том, что их нужды не удовлетворены? ~ Каков объем выплат фин. помощи? Каков чистый доход от платы, вносимой за обучение? ~ Какова общая стоимость обучения в вузе для студента (в год)?

НАБОР СТУДЕНТОВ ~ Каков размер долга студентов по образовательным кредитам? ~ Как изменяются эти цифры в зависимости от демографических данных и других характеристик? ~ Какие тенденции складываются в долгосрочной перспективе?

НАБОР СТУДЕНТОВ Национальные проблемы: Взаимосвязь между финансовой помощью, платой за обучение и общей стоимостью обучения в вузе Влияние политики федерального и субъектового уровня в сфере финансовой помощи Использование «скидок» для эффективного набора студентов Быстрая эскалация студенческих займов и долговых обязательств

Когорта студентов Академическая подготовка Отбор студентов Зачисление студентов в программу обучения Другие академические активы Учебный план Виды обучения Атмосфера в кампусе Академические программы и программы поддержки для студентов Формативное оценивание (процесс) Суммативное оценивание (конечный результат)

Когорта студентов Процент студентов, успешно переходящих на следующий курс и оканчивающих обучение 1. Повышение процента студентов, успешно переходящих на следующий курс и оканчивающих обучение в институте 2. Увеличение процента студентов программ ниже уровня бакавриата (associate degree – 2-летние программы обучения с дипломом специалиста), переводящихся на программы бакалавриата и успешно оканчивающих их

3. Сокращение времени до получения диплома 4. Устранение дисбаланса между недостаточно представленными группами и другими группами студентов 5. Усиление академической подготовки связь между набором и удержанием студенческого контингента 6. Внедрение и оценка эффективных и действенных программ для удержания студенческого контингента Когорта студентов

Описательные данные Многофакторный анализ Качественные методы 1. Обзорные исследования 2. Интервьюирование 3.Фокус-группы Экспертные данные

Когорта студентов Помимо получения диплома: 1. Общее качество и обучение выпускников/ студентов вуза. 2. Подготовка выпускников в конкретных областях: навыки письменной речи, технические навыки, аргументация на основе количественных данных, устные коммуникации, лидерские качества и навыки работы в команде. 3. Открытость кампуса и доступность студентов для интервьюирования работодателями. 4. Тенденции в сфере найма в прошлом и ожидаемые перспективы в будущем.

Аттестационная оценка Операционные определения/ условия Кто проводит оценку; движущие силы Оценивание институциональной эффективности Оценивание конечных результатов обучения студентов Смешанная оценка Полезные результаты и проблемные аспекты Вопросы и проблемы

Постановка задачи Перечислите все факторы, которые вы используете для оценивания студентов / преподавателей / административного персонала

Институциональные исследования и аттестационная оценка Аттестационная оценка – это процесс, построенный на получении ответов на поставленные вопросы, цель которого привести сформулированные вами намерения в соответствие с документально подтверждаемой реальностью. В высшем образовании этот процесс связан с курсами, программами, политикой, процедурами и оперативной деятельностью.

Оценочный анализ: операционное определение Оценочный анализ направлен на анализ результатов индивидуальной эффективности в отношении выполнения работы и ее качества; как правило, результатом такой оценки является получение повышения за достигнутые успехи, планы дальнейшего усовершенствования, или при менее благоприятных результатах испытательный срок с возможным увольнением.

Аттестационная оценка и оценочный анализ Аттестационная оценка (assessment) обращена на работу, которую надо выполнить, конечные результаты и воздействие, оказываемое на других но не на людей, которые делают эту работу. Оценочный анализ (evaluation) обращен на работу отдельных людей их вклад, эффективность, креативность, ответственность, вовлеченность и любые другие факторы, которые, по мнению организации, являются наиболее желательными.

Оценка институциональной эффективности вместо оценки обучения студентов Институциональная эффективность = результаты оперативных процессов, политики, обязанностей и объектов и их успешная совместная работа для обеспечения управления вузом. Обучение студентов = результаты учебной и внеучебной деятельности, предназначенной для получения студентами знаний и навыков.

Кто или что является движущей силой при проведении аттестационной оценки? Аккредитирующие органы... должны определять достойные институты и программы и отсеивать недостойные должны обеспечивать проверку практической деятельности, которая влияет на жизнеспособность и устойчивость института и предлагаемых им программ представляют дисциплинарные и институциональные интересы

Движущие силы при проведении оценки (продолжение) Общественность: «башня из слоновой кости», либеральный наклон, рейтинги Законодатели: в ответ на обеспокоенность общественности по поводу качества, цен, сдвигов и отклонений... или? Будущие преподаватели: качество и значимый вклад в жизнь студентов Будущие родители: реальное изучение и подготовка к профессиональной карьере Будущие студенты: Как я буду соответствовать требованиям профессии? И какую работу я смогу получить после получения диплома? Финансирующие агентства/фонды: доказательства стремления к обучению и знаниям, и подтверждение [предшествующих] успехов

Реалии высшего образования Высокая конкуренция в сфере высшего образования – Национальные рейтинги – Институциональные данные и исследования – Маркетинг – Рыночные ниши Стоимость обучения Потребительские восприятия студентов: долгосрочные результаты обучения и институциональная эффективность

Вопросы институционального качества Можем ли мы подтвердить стоимость/цены на учебу? Можем ли мы подтвердить качество наших образовательных продуктов в измеримых понятиях? Можем ли мы подтвердить эффективность операционных факторов, влияющих на долгосрочную стабильность образовательной деятельности? Можем ли мы использовать данные и другие полученные сведения для улучшения качества наших предлагаемых образовательных программ и видов деятельности? Можем ли мы использовать эти данные для оптимизации ресурсов (финансовых, персональных, учебных и внеучебных) в целях улучшения конечных результатов?

Институциональная эффективность и результативность обучения студентов Институциональная эффективность равна результатам операционных процессов, политик, обязанностей и мест (пространства) и их успешном совместном функционировании для поддержания управления академическим процессом. Обучение студентов равно результатам работы в рамках куррикулума и «внекуррикулумной» деятельности, направленной на выработку у студентов компетенций.

Пункты институциональной эффективности Процессы [наличие и прозрачность] – Набор: конкурсный отбор, финансовая помощь, регистрация/зачисление – Учебная активность: консультирование, последовательное продвижение к получению диплома/степени – Бюджет: операционная деятельность/зарплаты, капитал, рейтинги и удельный вес облигаций, управление фондами, льготы и т. д.

Процессы [наличие и прозрачность] – Планирование: стратегическое планирование, контрактное планирование, планирование учебного процесса и т. д. – Юридические вопросы: образование/профессиональная подготовка, коммуникации, санкции и т. д. – Вопросы проживания: подбор жилья, подготовка помощников по жилищным вопросам, урегулирование конфликтов/посредничество Пункты институциональной эффективности

Операционные подразделения/департаменты: – По вопросам перевода на следующий уровень – По вопросам приема, казначей, архивариус – Консультативный центр, обеспечение учебного процесса и т. д. – По обеспечению безопасности в кампусе – По техническому обслуживанию – По информационным технологиям (IT) – По институциональным исследованиям – По спортивным занятиям – По организации студенческой активности

Аттестационный цикл: Ключевые вопросы для оценки институциональной эффективности Какие услуги, программы или блага должны предоставлять наши подразделения? С какими целями или для получения каких конкретных результатов? Какие у нас есть подтверждения того, что они выполняют данные задачи (предоставляют нужные результаты)? Как мы можем использовать информацию для улучшения результатов или признания успехов и заслуг? Эффективны ли те улучшения, которые мы вводим?

К чему мы стремимся? ПРИМЕРЫ данных, подтверждающих качество: Прием студентов, которые при подаче документов указывают наш институт первым по приоритетности, вырос у нас на 20 %. 90 % студентов указывают, что удовлетворены процессами подбора жилья и размещения. В последнем цикле стратегического планирования участвовали 4 преподавательских и 2 студенческих комитета. В целом профессорско-преподавательский состав, персонал и студенты указывают, что ощущают себя в безопасности на территории кампуса после реализации новых инициатив по повышению безопасности.

В каких областях мы стремимся к улучшениям [и какие подтверждающие данные нам помогут]? Нам необходимо увеличить прием студентов, которые при подаче документов указывают наш институт первым по приоритетности, до уровня 50 % до 2017 года. Все преподавательские комитеты будут приглашены к участию в следующем цикле планирования. Студенты (95 %) будут указывать, что ощущают себя в безопасности на территории кампуса и в прилегающих районах. Преподавание по зачетным дисциплинам в объеме 50 % почасовой нагрузки будет обеспечиваться штатными преподавателями.

Какие характеристики свидетельствуют об институциональной эффективности? Четко проработанный ряд процессов для обеспечения важнейших функций. Четко определенные сферы ответственности и подотчетности для важнейших функций. Уровень значимости той или иной функции подкрепляется соответствующими ресурсами (кадровыми, бюджетными, в сфере обучения и профессиональной подготовки и др.) для обеспечения этой функции. Подтверждение понимания в масштабах всего института значимости этих важнейших функций, процессов и сфер ответственности

Какие доказательства подтверждают институциональную эффективность? Четкое исполнение бюджетов Аккредитация и соответствие государственным требованиям Четко определенные и обеспеченные всем необходимым сферы/органы совместного управления (правление, президент, администрация, преподаватели, персонал и студенты) Коммуникационные каналы и стратегии [прозрачность] Консенсус относительно миссии, стратегического плана, целей, приоритетов и т. д. Удовлетворенность студентов (и других клиентов)

Как измерить институциональную эффективность? Практически значимые доказательства: заключения о результатах бюджетной аудиторской проверки, данные по набору, институциональные данные Ведомости/отчеты о проводимой деятельности и/или выполнении требований Самоанализ, представляющий документальные подтверждения Исследования/опросы для оценки удовлетворенности, пользовательской активности, отношений, доверия и т. д. Отчеты в аккредитующие организации

Аттестационный цикл: Ключевые вопросы для оценивания обучения студентов Что наши студенты должны знать или уметь к моменту выпуска? Какие у нас есть подтвержденные данные о том, что они все это знают и умеют? Как мы можем использовать информацию для улучшения результатов или признания успехов и заслуг? Эффективны ли те улучшения, которые мы внедряем?

Итеративный цикл оценки институциональной эффективности Миссия / цели Цели / задачи Конечные результаты Применение методов для сбора доказательств Сбор доказательств Интерпретация доказательств Принятие решений по улучшению программ, услуг или благ; обогащение институционального опыта; предоставление информации для принятия информированных решений, планирования, выполнения бюджета, разработки политики, подотчетности перед обществом

Оценивание обучения студентов: Какие компетенции студенты должны демонстрировать к моменту окончания вуза? Вовлеченность в жизнь гражданского общества Толерантное отношение к проявлениям разнообразия Коммуникативные навыки Профессиональная ответственность Этические нормы Критическое мышление Совместное обучение Лидерство Компетентность в математических науках или количественном анализе Технологическая компетентность Научная компетентность Исследовательские навыки Культурная компетентность Междисциплинарная компетентность Гражданская компетентность Компетентность в глобальных вопросах Экономическая/финансовая компетентность Социальная справедливость

Что мы можем использовать в качестве источников подтвержденных данных? Курсовые работы (эссе)/диссертации Портфолио (оценки преподавателями или внешними экспертами) Результаты устных или письменных проверок Устные выступления/презентации Результаты выполнения домашних работ Лабораторные работы/эксперименты Тесты/экзамены Журнальные записи Проекты Демонстрационные материалы

К чему мы стремимся? Получить подтверждения уровня овладения навыками у студентов (от уровня базовой компетентности до мастерства): основанных на сформулированных преподавателями стандартах качества и самостоятельных суждениях применяемых одинаково беспристрастно ко всем студенческим работам определяющих совокупную оценку результатов деятельности или знаний информативных в плане совершенствования курсов или программ

Можно ли использовать одни и те же процессы и стратегии для оценки в обеих областях? Количественная оценка обучения вместо оценки эффективности, производительности и/или удовлетворенности - УХОДИТЬ ОТ ЧАСТНЫХ СЛУЧАЕВ НА УРОВЕНЬ ПОДТВЕРЖДЕННЫХ ДАННЫХ Методы на основе проверки знаний (тестов), проектов, демонстрационного материала вместо обследований, документов, отчетов - ОПРЕДЕЛЯТЬ РЕЗУЛЬТАТЫ В КОЛИЧЕСТВЕННЫХ ИЛИ КАЧЕСТВЕННЫХ ПОКАЗАТЕЛЯХ Использование результатов (пересмотр и проверка вместо обучения/ подготовки) - ИЗМЕНЯТЬ ТО, ЧТО ДЕЛАЕМ, ЧТОБЫ ВОЗДЕЙСТВОВАТЬ НА КОНЕЧНЫЙ РЕЗУЛЬТАТ

Что у них общего? Решимость и готовность выполнять работу как можно лучше в любых имеющихся условиях Готовность искать пути, с помощью которых можно менять условия, влияющие на конечный результат Готовность признавать, что меняя конечный результат, можно изменить сами условия.

В конечном итоге.... Мы возлагаем на себя и своих коллег ответственность за четкую формулировку намерений нашей работы, а затем и за оценку реалий, результатом которой является разработка и внедрение стратегий улучшения ситуации в долгосрочной перспективе Как у нас обстоят дела в этом? Что мы можем сделать, чтобы добиться лучшего результата?

Общие институциональные исследования Департамент институциональных исследований обеспечивает широкий спектр услуг: Подготовка материалов с изложением основных фактов Отчетность по таким показателям, как процент студентов, успешно переходящих на следующий курс, а также оканчивающих обучение Отчетность федеральным органам власти Национальные и профессиональные исследования/опросы Внутренние исследования/опросы и т. д.

Постановка задачи Какие параметры вы используете для сравнения вашего института, подразделения, факультета или департамента с другими институтами и коллегами?

Как со мной связаться Skype – vbriller