Решения Thomson Reuters для оценки результатов научной деятельности Павел Касьянов Апрель 2011

2 направления применения показателей научного цитирования Практика проведения исследований –Что уже было написано по исследуемой мной проблеме? –Кто из исследователей этой проблемы наиболее авторитетен? –Где мне опубликовать мою статью? –и т.д. Управление научной деятельностью –Чего мы добились как исследовательская организация? –В каких предметных областях мы наиболее успешны? –Какие из наших учёных наиболее активны/ авторитетны/ эффективны? –Как мы показываем себя в сравнении с нашими партнёрами или конкурентами? –Какие из международных научных связей нам следует развивать в первую очередь? –И т.д. 2

Как проводится оценка результатов научной деятельности? Примеры методов: –Количество и объём грантов –Количество наград (например, Нобелевских премий) –Количество патентов –Peer evaluation –Подсчёт публикационной активности –Подсчёт количества цитирования –Библиометрические показатели, нормализованные по предметным областям Peer Evaluation –Дорого, не лишено субъективности, существенные временные затраты

Некоторые организации, использующие наши данные для оценки США: National Institutes of Health США: National Science Foundation (с 1974) Великобритяния: Office of Science & Technology; Higher Education Funding Council Евросоюз: DGXII (Research Directorate) Австралия: Академия Наук, правительственная лаборатория CSIRO Канада: NSERC, FRSQ (Quebec), Alberta Research Council Франция: Министерство Науки, OST - Париж, CNRS Германия: Общество Макса Планка, правительственные лаборатории, DKFZ, MDC Япония: Национальный институт Информатики, Министерство Образования, Министерство Экономики, Торговли и Промышленности Китай: Академия Наук Россия: РАН, СПбГУ, МИСиС Times Higher Education 4

Политика отбора журналов в Web of Science Для чего мы отбираем журналы?

Относительно небольшая группа журналов публикует абсолютное большинство значимых научных результатов Всего 3000 журналов покрывает 80% статей… …но, что ещё более важно – 92% того, что цитируется В 7,621 журнале опубликовано 814,967 статей, получивших 20,834,641 ссылок 4% журналов (300) публикуют30% статей(239,206) 4% журналов (300) получают51% ссылок(10,681,596)

Политика отбора журналов в Web of Science Ежегодно рассматривается ~2000 журналов –10-12% принимается Эксперты Thomson Reuters –Профессионалы информационного бизнеса –Библиотекари –Эксперты в конкретной предметной области Web of Science Рассматриваемые журналы «Качество» журнала

Web of Science – база в первую очередь для тематического информирования учёных. Она идеально подходит для поиска наиболее цитируемых работ по интересующей проблеме, оценки журналов и потенциальных научных связей; Поскольку в Web of Science используется для поиска информации, работа с базой невозможна без введения поискового запроса. Который может быть достаточно комплексным; Для научного руководства предпочтителен специальный инструмент, предоставляющий необходимые данные без существенных затрат времени и сложных поисков; Потребность в неком эталоне для сравнения показателей учёных и организаций Для чего мы сделали инструмент InCites?

InCites – 2 части 9 Global Comparisons –Оценка научной деятельности страны по сравнению с остальным миром –Сопоставление показателей в разбивке по странам и/или предметным областям Research Performance Profiles –Сравнение между факультетами или лабораториями внутри института –Анализ по статьям, автору, отделу. Анализ совместных исследовательских проектов

Первая часть – Global Comparisons 10 Global Comparisons –Оценка научной деятельности страны по сравнению с остальным миром –Сопоставление показателей в разбивке по странам и/или предметным областям Research Performance Profiles –Сравнение между факультетами или лабораториями внутри института –Анализ по статьям, автору, отделу. Анализ совместных исследовательских проектов

Рост количества статей по наукам о вычислительной технике, экологии и поведенческим наукам в России 11

Трендовый анализ показателей публикационной активности России, Индии и Бразилии 12

Абсолютные и относительные показатели Если химики из института X получили в сумме 5000 ссылок – как обстоят дела с химией в институте? Или Если статья была процитирована 20 раз – это хорошая статья? 13

Нормализованные показатели цитирования 14 Суммарный объём цитирования по отношению к среднему цитированию в предметной области (Category actual/Expected Cites, CXC) – позволяет сравнивать статьи, учёных и организации, работающие в разных предметных областях

Среднее цитирование российских статей в сравнении с остальным миром 15 Выросло в 3 раза с 1981 г.

Нормализованные показатели цитирования 16 Суммарный объём цитирования по отношению к среднему цитированию в журнале (Journal actual/ Expected Cites, JXC) – позволяет оценивать, насколько эффективен автор (или группа авторов) по отношению к журналам, в которых он публикуется

Нормализованные показатели цитирования 17 Перцентили (Mean Percentile; Percentage above/below Expected level) – в какой процент самых цитируемых работ в мире (по предметной области!) входит работа или группа работ?

Возвращаемся к сопоставлению Бразилии, России и Индии 18

Вторая часть – Research Performance Profiles 19 Global Comparisons –Оценка научной деятельности страны по сравнению с остальным миром –Все государства и регионы Research Performance Profiles –Сравнение между факультетами или лабораториями внутри института –Анализ по статьям, автору, отделу. Анализ совместных исследовательских проектов

Каков наш вклад в науку? 20 Заранее согласованный набор данных, например, по конкретной организации

Список «цитирующих» статей

Кто является самым «продуктивным» автором? 22

Кто из учёных - самый авторитетный? 23

У кого из учёных самый высокий импакт статей? 24

Как можно сравнить «физиков» с «лириками»? 25

Анализ самоцитирования 26

Сравнение двух учёных 27

Нормализованные показатели цитирования – разбивка по предметным областям 28

Инструменты визуализации данных – физика плазмы Соотношение процитированных и непроцитированных работ Перцентили Цитирование по отношению к среднему в предметной области, журнале 29

Анализ цитирования по ключевым словам 30

С кем мы сотрудничаем? 31

Какие из этих совместных проектов были наиболее успешными? 32

В каких журналах публикуются наши учёные? 33

Где публикуются ссылки на наших учёных? 34

Кто цитирует институт наш институт в области физики? 35 Откуда такой всплеск цитирования?

Обновление данных – раз в квартал

Анализ, основанный на данных из авторитетной базы Web of Science Возможность для руководства детально анализировать состояние науки внутри организации и отслеживать основные тренды в мировой науке Данные ещё раз выверяются – не нужно заниматься поиском Нормализованные показатели позволяют сравнивать учёных, работающих даже в различных предметных областях В заключение