Международный опыт оценки деятельности университетов: преимущества и ограничения методологий ранжирования Перфильева О.В. Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» гг. Развитие профессионального образования в Российской Федерации – основа для модернизации экономики, стабилизации и укрепления социально-общественных отношений Москва 12 апреля 2012 г.

2 Глобальные рейтинги Критика не снижает влияния используют в основном индикаторы, оценивающие значение и влияние исследований единый агрегированный показатель не дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона) набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности ориентированы на фундаментальные исследования не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов рейтинги представляют собой упрощенную картину сложной реальности

3 Развитие систем ранжирования университетов Эгалитаризм массификация Элитизм Высокое качество Обеспечение качества Подотчетность Рейтингование Отражать регионально е разнообрази е Отражать институцион альное многообрази е Ориентирова ться на потребителе й услуг Гибридные формы Отражать разнообрази е предметных областей Два подходаСовременные системыНаправления будущего развития Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, P.14.

4 Типы анализируемых методологий (19) Тип методологииХарактерные отличияАнализируемые методологии Одномерное ранжирование Отражает вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе. Чаще всего представлено в широко распространенных сегодня таблицах лиг Shanghai, THE, QS, US News, Leiden, Times, Guardian, Guardian Sp, Forbes, Financial Times, Bloomberg Business Week, The Economist Таблица лиг (рейтинг) – одномерный список ранжируемых объектов от получившего наивысшую оценку к получившему оценку наименьшую. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции, занимаемой в ряду Многомерное ранжирование Не стремиться соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе. Ориентировано на разнообразные потребности разных категорий пользователей U-multirank, CHE University, CHE Excellence, CHE Emloyment, CHE Research Классификация Система распределения объектов по группам на основе их характеристик. Отражает горизонтальное разнообразие, где различия между категориями не основано на принципах порядковой шкалы. Позволяет представить разнообразие учреждений высшего образования в полной мере U-Map, Carnegie

5 Академическая производительность (Per capita) 10% Качество образования (Quality of Education) 10% Качество профессорско-преподавательского состава (Quality of Faculty) 40% Результаты исследований (Research Output) 40% The Academic Ranking of World Universities * Источник: Academic Ranking of World Universities

6 Глобальные одномерные ранжирования: несбалансированность показателей Доля иностранных ппс в общей численности ППС – 2,5% Доля иностранных студентов в общей численности студентов – 2,5% Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5% Репутационная оценка преподавания – 15% Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6% Соотношение принятых студентов к кол-ву ППС университета – 4,5% Доход на одного ППС – 2,25% Соотношение присужденных докторских степеней к бакалаврам – 2,25% Репутационная оценка научно- исследовательской деятельности – 18% Доход от исследований (взвешенный) – 6% Кол-во статей на одного ППС и одного исследователя – 6% Смешение в сторону оценки научно- исследовательс кой деятельности, в совокупности с индикатором цитирования: 60%

7 Глобальные одномерные ранжирования: несбалансированность показателей Смешение в сторону оценки академической репутации и качества преподавания: в совокупности 60%

8 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения

9 Национальные одномерные ранжирования: несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения Национальный рейтинг Times

10 Национальные одномерные ранжирования: несбалансированность показателей? Рейтинг Times 2012 года: 1. University of Oxford 2. University of Cambridge 3. London School of Economics and Political Science 4. Imperial College, London 5. University College London Рейтинг Guardian 2012 года: 1. University of Cambridge 2. University of Oxford 3. St. Andrews University 4. London School of Economics and Political Science 5. University College London Среди лидеров рейтингов оказываются одни и те же университеты

11 Основные проблемы одномерных ранжирований Проблема надежности: Опора на репутационные оценки определяет недоверие к процедурам проведения глобальных, международных или общенациональных опросов, построения выборочной совокупности, к получаемым результатам Проблема релевантности: Чаще используются индикаторы ресурсов, но не результатов деятельности вузов. Некоторые показатели вызывают сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации необоснованно занижены, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня». Процедура присвоения весов индикаторам часто критикуется экспертами за недостаточную научную обоснованность Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющим высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге Проблема информативности: одномерные ранжирования не оценивают всего многообразия вузов; из всех функций вузов чаще всего оцениваются только функции обучения/преподавания и научно-исследовательской деятельности. В результате потребитель получает ограниченную информацию о деятельности вузов

12 Места российских вузов в глобальных рейтингах QSShanghaiTHELeidenUS News and World report Рейтинг 2011 (700 университетов) МГУ СПбГУ МГТУ им Баумана МГИМО Новосибирский государственный университет Томский государственный университет – Уральский федеральный университет – Высшая школа экономики – Томский политехнический государственный университет – Университет дружбы народов – Рейтинг 2011 (500 университетов) МГУ – 77 СПбГУ – 301 – 400 Рейтинг 2011 (400 университетов) MГУ – СПбГУ – Рейтинг 2011 (500 университето в) MГУ – 499 СПбГУ – 500 Рейтинг 2011 (400 университетов) МГУ – 112 СПбГУ – 251 МГТУ им Баумана – 379 MГИМО – 389 Новосибирский Государственный университет – 400

13 Региональные/ национальные многомерные ранжирования: The СНЕ Rankings Ранжирование Университетов Целевая группа: студенты и университеты Индикаторы: 1.Обучение и преподавание 2.Инфраструктура 3.Интернацинализация 4.Ориентация на рынок труда 5.Репутационная оценка ВУЗа 6.Исследовательская деятельность 7.Город и университет Целевая группа: исследователи, университеты, ведущие исследовательскую деятельность Индикаторы: 1.Внешнее финансирование за три года. 2.Публикации 3.Изобретения/патент ы 4.Присуждение степеней Целевая группа: соискатели магистерской и докторской степени Индикаторы: 1.Библиометрический критерий 2.Наличие выдающихся ученых (лауреаты Нобелевской премии, прими Филдса, премия Кёрбера) 3.Количество проектов по программе Мари Кюри 4.Студенческая мобильность 5.Преподавательская мобильность 6.Участие в программе Эрасмус Мундус 7.Получение грантов Европейского Совета Целевая группа: студенты программ профессионального бакалавриата, работодатели, учебные заведения Индикаторы: 1.Практико- ориентированные навыки 2.Соцальные компетенции 3.Практический опыт работы 4.Интернационализация Ранжирование исследовательских программ Ранжирование программ для магистров и докторов Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда

14 Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристики качества Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

15 Критерии IREG и веса основных и стандартных критериев п/п КритерииВеса ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД 1.Цель ранжирования и (ключевые) целевые группы должны быть четко определены 2 2.Ранжирование должно отражать разнообразие институтов высшего образования 2 3.Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. 1 МЕТОДОЛОГИЯ 4.Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. 2 5.Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения 1 6.Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. 1

16 Критерии IREG и веса основных и стандартных критериев 7. Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований Базовая методика должна оставаться постоянной, насколько это возможно Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов 1

17 Критерии IREG и веса основных и стандартных критериев ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ 15.Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием 1 16.Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании 2 17.Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес 1 ОБЕСПЕЧЕНИЕ КАЧЕСТВА 18.При ранжировании необходимо обеспечить качество самих процедур ранжирования Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования 2 МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ180

18 Оценка методологий относительно критериев IREG Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

19

20 Оценка методологий относительно критериев IREG Изменение положения методологий с учетом скорректированного среднего

21 Ограничения методологий, удовлетворяющих критериям IREG (на примере U-multirank, CHE University) Ресурсоемкость Недостаточность сопоставимых данных по деятельности различных университетов Сложность применяемых индикаторов и процедур их сбора Сложность обеспечения объективной оценки при использовании данных опросов Сложности обработки больших объемов данных Сложность соблюдения надежности и качества процедур сбора данных при больших объемах Проблема охвата всех предметных областей

22 10 элементов построения ранжирования, определяющих качество методологии 1. Четкое определение целевой аудитории 2. Четкое определение цели ранжирования 3. Обеспечение качества методологии ранжирования 4. Обеспечение надежности используемых индикаторов и получаемых данных 5. Обеспечение релевантности используемых индикаторов 6. Обеспечение качества процедур сбора данных 7. Обеспечение транспарентности всех этапов ранжирования 8. Отражение разнообразия деятельности вузов 9. Создание условий для интерактивного использования результатов ранжирования 10. Взаимодействие с целевыми группами

23 Спасибо за внимание! НФПК Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ