1 Основные проблемы оценки результативности и эффективности деятельности научных организаций Варшавский А.Е. д.э.н., к.т.н., профессор, заведующий лабораторией. - презентация

1 1 Основные проблемы оценки результативности и эффективности деятельности научных организаций Варшавский А.Е. д.э.н., к.т.н., профессор, заведующий лабораторией ЦЭМИ РАН, Москва, Россия ФАНО Москва 16 сентября 2014 г.

2 2 При рассмотрении проблем оценки эффективности и результативности деятельности научных организаций необходимо учитывать: возможность выбора адекватной системы критериев, показателей, методов оценки, реакцию научного сообщества и рынка публикаций.

3 3 1. В обязательном порядке должны быть учтены следующие направления – критерии эффективности деятельности научных организаций: новизна результатов; актуальность результатов; их соответствие целям и задачам социально- экономического и культурного развития России в целом и ее отдельных регионов; содействие развитию приоритетных направлений науки и технологии; соответствие мировому уровню; обеспечение быстрого заимствования лучших зарубежных достижений; сохранение и дальнейшее развитие научного потенциала России в соответствующей области знаний. В то же время пока нельзя использовать такие критерии, как востребованность научных результатов (это перекладывание на науку ответственности бизнеса, нацеленного пока на решение краткосрочных задач).

4 4 2. В настоящее время использование библиометрических показателей в различных базах данных, как зарубежных, так и российских получило широкое распространение. Однако многие ведущие зарубежные эксперты отмечают необоснованность применения библиометрических показателей при оценке качества, результативности исследований. По мнению ряда экспертов [[i]] использование показателя цитирования дает неполную, а иногда и искаженную оценку уровня и результатов научного исследования, тем более что во многих странах экспертная оценка качества научных работ подменяется статистическим анализом данных цитирования.[i] Как отмечают некоторые эксперты, данные о цитировании могут быть некорректно истолкованы как при определении рейтинга журналов, так и статей, издающихся в них, что в свою очередь ведет к ошибкам при использовании показателей цитирования и создает возможность влияния на данный показатель, так как авторы, редакторы и издатели найдут способы управлять этим показателем [[ii], [iii], [iv]].[ii][iii][iv] [i][i] Игра в цыфирь, или как теперь оценивают труд ученого (cборник статей о библиометрике). –– М.: МЦНМО, 2011, см. также books/bibliometric.pdf. [ii][ii] Macdonald S., Kam J., Aardvark et al.: Quality journals and gamesmanship in management studies, Journal of Information Science 33 (2007), 702––717. [iii][iii] Lawrence P. Lost in publication: how measurement harms science. Ethics in Science and Environmental Politics, v.8 (03 June 2008), 9––11. [iv][iv] Варшавский А.Е., Маркусова В.А. Методологические проблемы международного сравнительного анализа результатов научной деятельности. Инновационная политика: Россия и Мир: / под общ. Ред. Н.И. Ивановой и В.В. Иванова; Российская академия наук. – М.: Наука, 2011, с

5 5 Анализ показывает, что использование метода библиометрии целесообразно, в первую очередь, для выявления новых направлений исследований, т.е. фактически для проведения научно-технологической разведки и прогнозирования, определения областей, в которых работают ученые конкретного учреждения или страны, а также для оценки степени их известности в научных кругах и т.п.

6 Следует согласиться с заявлением Правления директоров крупнейшей в мире профессиональной ассоциации, объединяющей членов из 160 стран, - широко известного Института инженеров электротехники и электроники, выпускающего более 100 рецензируемых журналов (IEEE - Institute of Electrical and Electronics Engineers - ) от 9 сентября 2013 г., в котором отмечается:

7 7 «почти все библиометрические индексы возможно использовать для измерения популярности или престижа,….для оценки научного влияния научной организации, если имеющиеся данные позволяют провести статистически значимый анализ…; нельзя оценивать уровень статьи по популярности журнала, в котором она опубликована, так как даже в лучших журналах встречаются слабые публикации…; нельзя использовать библиометрию для индивидуальной оценки ученого. Хотя библиометрия может быть использована как источник дополнительной информации для определения качества исследований в определенной области, основным способом для анализа качества научно- исследовательского проекта или отдельного ученого должна быть экспертная оценка, которая в первую очередь учитывает научное содержание работы»[[i]].[i] [i] Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals. (Adopted by the IEEE Board of Directors 9 September 2013)

8 Компанией Thomson-Reuters также отмечается [[ii]]: библиометрические показатели не могут заменить мнение экспертов.[ii] По мнению Ф. Кембел [[ii]], главного редактора журнала Nature, показатель цитируемости является неточным показателем при оценке качества исследования, так как существуют дисциплины с низким показателем уровня цитируемости на статью и т.д [i][ii][i] Таким образом, библиометрические показатели (число статей, индексы цитирования, индекс Хирша, импакт- фактор и др.) могут быть полезны лишь в качестве вспомогательных. [ii][ii] White paper. Using Bibliometrics: a guide to evaluating research performance with citation data//Thomson- Reuters P.8. [ii][ii] Campbell P. Escape from the impact factor. Ethics in Science and Environmental Politics, 8 (2008), 5-7.

9 9 В отчете Лиги европейских исследовательских университетов (LERU) [[i]] отмечается: библиометрические методы подходят преимущественно для естественных наук, наук о жизни и медицины; они не подходят для общественных и гуманитарных наук[i] (так, в среднем статья по молекулярной биологии и генетике имеет 40 ссылок, а по математике или вычислительной технике - не более 4-х; в последнее время доля статей России в мировом потоке статей заметна лишь в следующих областях знаний: физика и астрономия - 7,3%; исследования космоса - 7,1%; науки о Земле - 6,6%; аграрные науки, биология и биохимия, микробиология и математика - 4,8; химия - 4,7%, а, например, в общественных науках она составляет всего 0,5%. материаловедение - 3,2% [4]). Boulton G. University Rankings: Diversity, Excellence and the European Initiative. League of European Research Universities. Advice Paper, Nr.3 - June 2010.

10 10 Поэтому данные Web of Science (WoS) могут учитываться в обязательном порядке только для отдельных направлений и областей. Необходимо учитывать долю российских журналов, представленных в данной базе данных; если эта доля мала, как например, в области общественных и гуманитарных наук, то число публикаций в этой базе данных должно указываться лишь по желанию организации. В то же время число публикаций в РИНЦ должно указываться не по желанию, а в обязательном порядке для всех организаций, причем для общественных и гуманитарных наук следует использовать и другие БД (RePEc и др.). Должны учитываться не только статьи, но и крупные произведения (монографии, словари и т.п.). Вместе с числом опубликованных произведений для отдельных направлений и областей науки должно указываться суммарное количество печатных листов, как еще один оценочный показатель. В первую очередь это важно для общественных и гуманитарных наук.

11 11 Кроме того, методически более правильно оценивать результативность и эффективность научного труда исходя из соотношения «затраты – выпуск», как это принято в экономике. В применении к библиометрическим показателям это означает, что необходимо соотносить количество статей (выпуск) к затратам на их подготовку, т.е. к объему финансирования науки, ее организаций и учреждений. В настоящее время у нас и за рубежом начинает признаваться, что лучше всего результативность или продуктивность труда ученых можно оценить с помощью показателя удельных внутренних затрат на академическую или фундаментальную науку по паритету покупательной способности (ППС) в расчете на одну статью.[ [i], [ii], [iii]]. [i] "Инновационный менеджмент в России: вопросы стратегического управления и научно-технологической безопасности"/ Рук. авторского коллектива В.Л.Макаров, А.Е.Варшавский. М.: Наука 2004.[i][ii][iii] [i] [ii] Loet Leydesdorff & Caroline Wagner. Macro-level Indicators of the Relations between Research Funding and Research Output. Journal of Informetrics (forthcoming). [iii] Markusova V., Jansz M., Libkind A., Libkind I., Varshavsky A. Trends in Russian research output in post-soviet era// Scientometrics N279.-p [iii]

12 12 Использование подобного подхода свидетельствует, например, что результативность РАН, оцениваемая с учетом экономических показателей, значительно выше, чем это тенденциозно прокламируется определенной категорией «исследователей»; более того, по большинству показателей результативности РАН находится на первых местах в мире [[i]]. Зарубежными аналогами РАН являются Общество Макса Планка (Max-Planck-Gesellschaft, MPG) в Германии и Национальный центр научных исследований (Centre National de la Recherche Scientifique, CNRS) во Франции (эти организации, как и РАН, в основном поддерживаются с помощью государственного финансирования). РАН опережает эти две организации по числу статей в расчете на 1 млн. долл. затрат по ППС на исследования и разработки (ИР), а по числу статей на 1 исследователя находится на втором месте. По количеству ссылок в расчете на 1 млн. долл. затрат на ИР РАН лишь немногим уступает CNRS, хотя этот показатель у этих организаций значительно ниже, чем у MPG. В то же время число ссылок на одного исследователя у РАН существенно меньше. Если же сравнивать с другими странами по количеству статей за последние десять лет в расчете на 1 млн долл. годовых затрат на ИР по ППС, то РАН находится на 1-м месте, а по количеству ссылок в расчете на 1 млн долл. опережает США, Японию и многие другие страны и соответствует уровню Канады [[ii]].[i][ii] Результативность академической науки предлагается оценивать и с помощью показателей патентования и коммерциализации. В России в 2008 г. было подано всего заявок на выдачу патентов, из них отечественными заявителями 27712, в том числе в РАН с региональными отделениями 1110 заявок, что в процентном отношении выше показателей академического сектора науки США – 2,7% к общему числу поданных заявок и 4,0% к числу заявок, поданных отечественными заявителями (по данным NSF в гг. в США академический сектор науки получил 2.0% патентов, в том числе 200 ведущих университетов в области исследований и разработок – 1.9 % патентов) [[iii]]. [i] Иванов В.В., Варшавский А. Е., Маркусова В.А. Библиометрические показатели российской науки и РАН ( ). Вестник РАН, 2009, 6 с [iii] [i] [ii] Варшавский А., Маркусова В. Потрачено с умом. Результативность научного труда в России выше, чем в Америке // Газета «Поиск» 21, мая, с.14.[ii] [iii] Варшавский А.Е. Проблемы развития науки и инновационной сферы России /Глава 3/ Экономические проблемы развития революционных технологий: нанотехнологии» /Руководители авт. Коллектива Макаров В.Л., Варшавский А.Е. М: Наука. 2012, с [iii]

13 13 3. Таким образом, общепризнано, что основа адекватной оценки эффективности и результативности деятельности научных организаций – это мнение экспертов о научных результатах, их новизне, актуальности, соответствии целям и задачам инновационного развития страны. Библиометрические показатели должны использоваться в качестве вспомогательных.

14 Однако для работы экспертов в соответствии с задачами, возлагаемыми на них ФАНО, необходима разработка специальной процедуры проведения экспертных оценок. Требуется создание специального вопросника (анкеты), учитывающего критерии оценки эффективности деятельности научных организаций с учетом рассматриваемых областей знаний. Но метод экспертной оценки эффективности и результативности деятельности научных организаций имеет очень серьезный недостаток: с его помощью очень трудно оценить важность и перспективы оригинальных, не имеющих аналогов научных результатов. Можно утверждать, что достижения, полученные многими лауреатами Нобелевской премии, не могли бы были быть должным образом оценены современниками. Известны факты, когда первые работы нобелевских лауреатов не принимались к публикации ведущими журналами

15 15 4. При использовании библиометрических показателей необходимо учитывать реакцию научного сообщества. В последнее время все чаще появляются статьи зарубежных специалистов, отмечающих, что использование библиометрических методов (в первую очередь, показателей цитируемости) привело к появлению целого ряда проблем. В 2007 г. был создан комитет по «Количественной оценке исследований» [[i]], задачей которого было изучить использование и злоупотребление данными цитирования при оценке исследований. [i]

16 16 Среди таких проблем выделяются следующие: широко цитируемые работы могут быть просто обзорами статей; часто цитируются работы с неверными результатами; стимулируется значительное повышение публикационной активности путем подготовки статей коллективом авторов, сокращением времени подготовки статей, отказом от сбора новой информации - в результате часто снижается научный уровень публикаций; в состав коллектива авторов включают известных ученых (часто без какого-либо их вклада в работу) для опубликования статьи в известных журналах (нередко научный уровень публикации оказывается невысоким - это не делает чести журналу, опубликовавшему данную работу, и тем более, известному ученому); подгоняется содержание статьи под вкусы тех, кто осуществляет экспертизу поданных в журналы рукописей; наблюдается рост появления научных работ с непроверенными или часто с ошибочными результатами, подгонкой данных и т.п.; учащаются случаи фальсификации, плагиата, просто воровства идей и еще неопубликованных научных результатов [[i]]. [i] Frey B. Withering Academia? CESifo Working paper N 3209, October 2010.[i]

17 17 Бюрократическое вмешательство в использование библиометрических показателей при оценке научной деятельности может вызвать фальсификацию результатов исследований (например, в Китае требование учета количества статей, опубликованных исследователями в журналах системы WoS, привело к массовой фальсификации результатов исследований, опубликованных в научных статьях; наблюдались подготовка диссертаций и статей о несуществующих исследованиях, использование обходных путей рецензирования и даже создание поддельных копий существующих китайских или международных журналов, см. также [[i]]). [ i] Jane Qiu J. Publish or Perish.// Nature p.142[i] [ i]

18 18 5. Следует учитывать реакцию рынка публикаций на использование библиометрии, которая также создает ряд существенных проблем. В настоящее время существует целый ряд научных журналов, как в России (в т. ч. входящих в перечень ВАК), так и за рубежом, предоставляющих возможность платной публикации в необходимые сроки, причем автор сам высылает рецензию на свою статью. Так, в России существуют журналы, обеспечивающие публикацию статьи в очень короткие сроки за 8-14 тыс. руб. и более. Некоторые агентства предлагают срочную публикацию статей в зарубежных журналах (до 1 тыс. долл). При этом с помощью Интернета из-за рубежа приходят предложения о профессиональном переводе статей с русского на английский язык. Все это подрывает возможность справедливой оценки результативности и эффективности деятельности научных организаций с помощью методов библиометрии.

19 19 Основные выводы: Библиометрические методы могут играть лишь вспомогательную роль при оценке результативности и эффективности науки. Главным является мнение научного сообщества, экспертов, выбираемых из его среды. Следует указать и на то, что предложения использовать библиометрические показатели для управления наукой устарели примерно на 8-10 лет, они не учитывают негативные оценки ведущих зарубежных научных организаций и экспертов

20 20 Дополнительно: оценку эффективности и результативности деятельности научных организаций достаточно проводить один раз в 5-7 лет. Более частые проверки будут существенно тормозить исследовательский процесс в организации, отвлекая ее сотрудников, а также экспертов от научной работы. Целесообразно, чтобы один раз за 5 лет каждый научный сотрудник представлял отчет о проделанной работе и публикациях с выделением 3-10 ( в зависимости от области науки) основных и описанием вклада в науку, вносимого каждой из них. Это должно стать основой оценки ученых. Ранжирование научных организаций по итогам проведения оценки эффективности деятельности осуществлять нецелесообразно, так как каждая научная организация по- своему уникальна. Система оценки эффективности и результативности деятельности научных организаций должна быть динамичной, т. е. необходимо учитывать приоритеты развития науки и технологии в России. Следует исходить из того, что России необходимо развитие практически всех направлений НИОКР. Поэтому основной целью оценки должно быть не реформирование, а содействие и помощь развитию научных организаций.

21 21 Следует также учитывать, что, по-видимому, на следующем этапе реформирования, возможно разделение Минобрнауки РФ на два министерства – министерство науки (аналог ГКНТ) и министерство образования. Первое из них можно было бы создать на базе ФАНО и Департамента науки и технологий и др., тем самым расширив функции ФАНО и освободив от мелких задач, возложенных на него в настоящее время. Такое преобразование, очевидно, будет сопряжено с повышением требований к деятельности ФАНО в новом качестве. Появится необходимость в опытных специалистах в области управления наукой, дефицит которых возрос после проведения административной реформы, в опоре на сложившиеся в течение многих лет структуры (РАН и др.). Для эффективного управления наукой потребуется система адекватных методов и показателей.

22 22 Эта возможность с учетом всех указанных выше проблем предъявляет особые требования к выбору методов оценки эффективности и результативности деятельности научных организаций. Главным становится соблюдение двух важнейших для подобных инноваций принципов: ответственности и предосторожности [[i]].[i] В противном случае угроза дальнейшему развитию российской науки и, тем более, существованию управляющих ею органов становится весьма реальной [[ii]]. [i] Варшавский А.Е. Проблемные инновации: риски для человечества. Экономические, социальные и этические аспекты. – М.: ЛЕНАНД с.[ii] [i] [ii] Варшавский А.Е. Проблемы развития государственного сектора науки в России. Концепции, 2014, 2[ii]

23 23 И, наконец, можно вспомнить слова замечательного российского философа С.Булгакова: «Каждый возраст имеет свои преимущества, и их особенно много имеет молодость с таящимися в ней силами. Кто радеет о будущем, тот больше всего озабочен молодым поколением. Но находиться от него в духовной зависимости, заискивать перед ним, прислушиваться к его мнению, брать его за критерий - это свидетельствует о духовной слабости общества». С другой стороны, очевидно, что ориентация на проблемные методы управления наукой в условиях недостаточного ее финансирования дезориентирует молодежь, ведет к реальному снижению качества научных исследований и способствует еще большему стремлению молодых ученых уехать за рубеж.

24 24 Спасибо за внимание