Проблемы качества рецензирования научных публикаций Алексей Георгиевич Голубев Зам. главного редактора Журнал «БИОСФЕРА» Фонд научных исследований «XXI. - презентация

1 Проблемы качества рецензирования научных публикаций Алексей Георгиевич Голубев Зам. главного редактора Журнал «БИОСФЕРА» Фонд научных исследований «XXI Век» Международная научно-практическая конференция «Научное издание международного уровня: проблемы и решения при подготовке и включении в индексы цитирования и реферативные базы данных» мая 2012 г., ВИНИТИ РАН, Москва, Россия

2

3

4 1731The Royal Society of Edinburgh: Medical Essays and Observations 1752 The Royal Society of London: the Philosophical Transactions 1890 Typewriter became available, that carbon papers could be used to make replicate copies, 3–5 at the most `At the JCI, peer review began in when James Gamble, then Editor in Chief, established a policy of sending papers to experts beyond the Editorial Board for evaluation of scientific rigor and consideration for publication. The next Editor in Chief, Eugene Ferris, Jr., extended this practice by requiring two outside critiques and also allowed non-ASCI members to act as reviewers Xerox photocopier became commercially available, and the replication of manuscripts for the purposes of peer-review became facilitated. Around this time, the number of people working worldwide to generate new science increased considerably, so that the previous excess of space in the journals vanished and there was an increased need to be more discriminating as to what was published ies The Journal of the American Medical Association ran three symposia dedicated to the thorough examination of the peer-review process. 2000…………. Internet, online publications, open access etc

5 Ввиду необходимости вписываться в международную информационную среду российская научная периодика стоит перед необходимостью осваивать модели рецензирования, принятые на международном уровне

6 Peer review in scholarly journals: Perspective of the scholarly community – an international study The sample list used to invite respondents was primarily sourced from Thomson Scientific, consisting of approximately 40,000 addresses of authors who had recently published.. Data was collected in November 2007 Respondents who had not published in the last 24 months and were not journal editors were screened out of the survey All other respondents answered questions about peer review generally and the demographics questions: 3040 respondents. This is an effective response rate of 7.7% The filter questions then determined whether respondents answered the following questions as Authors: 3040 respondents. Reviewers (respondents who had reviewed at least one paper in the last 12 months): 2165 respondents. Editors (those identifying themselves as such in the initial screening question): 632 respondents

7 As a science education charity, Sense About Science sees peer review as vital to the transparency of scientific reasoning. The Peer Review Survey 2009 was developed by Sense About Science in consultation with editors and publishers and administered with a grant from Elsevier, who also provided support writing this report The Peer Review Survey was an electronic survey conducted between 28 July 2009 and 11 August 2009; 40,000 researchers were randomly selected from the ISI author database, which contains published researchers from over 10,000 journals. Altogether 4,037 researchers completed our survey. This represents a response rate of 10%, with a margin of error ±1.5% at 95% confidence levels. Reviewers, who are defined as anyone who had completed one or more reviews in the previous 12 months, answered a subset of questions aimed specifically at reviewers (3,597 - a subset of the base) the error margin for this group was ±1.6% at 95% confidence levels.

8

9

10

11 A recent survey of 553 journals selected from eighteen disciplines revealed that DBR is increasing in prevalence, in comparison with previous studies: Across the disciplines, the majority of surveyed journals used double-blind reviews (58%), 37% employed single-blind, and only 5% made use of open review. Within computer science (29 journals, 15 responding), 57% were single-blind and 43% were double-blind. R.G. Bachand and P.P. Sawallis. Accuracy in the Identification of Scholarly and Peer-Reviewed Journals and the Peer-Review Process Across Disciplines. The Serials Librarian 45(2):39–59, Richard Snodgrass Single- Versus Double-Blind Reviewing: An Analysis of the Literature SIGMOD Record, Vol. 35, No. 3, Sep. 2006

12

13

14 ISSN (Print) ISSN (Online) address: Web site: Ханты-Мансийск. Журнал издается с 2010 года. «В Журнале поддерживается двойное "слепое" рецензирование статей, т.е. рецензии представляют два рецензента, которые работают только с рукописью статьи, не зная о том, кто является авторами статьи и в какой организации выполнена работа» СОВРЕМЕННЫЕ ТЕХНОЛОГИИ В МЕДИЦИНЕ (Нижний Новгород) «С 2012 г. редакция переходит на двойное "слепое" рецензирование, т.е. рецензент также не будет знать имени автора».

15

16 ААААААААААА27 11 Какой вариант рецензирования Вы считаете наиболее адекватным? 0л0л0л6 Открытое рецензирование Авторы не знают, кто рецензент Авторы и рецензенты не знают друг о друге Х Направите ли Вы сами (порекомендуете кому-либо направить) очередную публикацию в «Биосферу» ? Если ДА, то почему? Заинтересованность в том, чтобы двойной слепой режим рецензирования дал адекватную оценку содержанию статьи и помог повысить ее качество «Я категорически не согласен рецензировать работы на условиях "двойной секретности", т.е. без указания авторов. Такой, с позволения сказать, "порядок" означает демонстративное недоверие в отношении объективности и общей добропорядочности рецензентов, и по сути и по форме оскорбительно и недопустимо. Будучи членом редколлегий трех академических журналов и одновременно постоянным рецензентом этих и многих других центральных периодических изданий, я сталкиваюсь с этим впервые и, повторяю, категорически с этим не согласен». Июль 2011 г.

17 1. Отвечает ли рецензируемая статья тематике издания?) 2. Если «да», то можно ли сказать, что она содержит новые результаты? 3. Соответствует ли в целом стиль написания жанру научной статьи?) 4. Присутствует ли в статье четкая постановка задачи исследования? 5. Обоснована ли актуальность постановки задачи? 6. Имеется ли описание связи поставленной задачи с проблемой, в рамках решения которой эта задача была поставлена?) 7. Ясна ли методология исследования? 8. Есть ли ссылки на более ранние исследования, имевшие целью решение аналогичной задачи? 9. Достаточно ли убедительно и достоверно описан эксперимент, результаты которого служат основанием для выводов? 10. Имеется ли заключение, подытоживающее полученные результаты? 11. Не присутствуют ли в заключении утверждения, которые не вытекают из текста статьи?) 12. Не сформулированы ли выводы со степенью обобщения выше той, которая допустима на основании полученных результатов? 13. Не допущены ли в тексте статьи смысловые повторы, необоснованно увеличивающие ее объем? 14. Нет ли в статье участков текста не несущих смысловой нагрузки, либо не имеющих непосредственного отношения к теме статьи 15. Нет ли в статье участков текста с нарушенной логикой рассуждения? 16. Имеются ли в тексте статьи утверждения, допускающие неоднозначное толкование? 17. Не используются ли в статье разные термины для обозначения одного и того же понятия (без предупреждения об этом читателя? 18. И, напротив, не используется ли в тексте статьи один и тот же термин для обозначения разных понятий? 19. Не употребляются ли в тексте статьи в качестве терминов (без раскрытия авторского толкования) словосочетания, не имеющие устоявшегося однозначного толкования в научно-педагогической литературе? 20. Рекомендует ли рецензент статью к публикации без содержательной доработки (имея в виду, что техническая правка не входит в понятие содержательной доработки и осуществляется в рабочем порядке при наличии положительной рецензии? 21. Если не рекомендует, каковы тому причины? Являются ли этими причинами те что относятся к пп Если причины иные, укажите их. Журнал "Динамика окружающей среды и глобальные изменения климата"

18 «Большинство успешных ученых тратят значительную часть своего времени на рецензирование чужих статей, получая мало осязаемой личной выгоды от анонимной и добровольной поддержки этого краеугольного камня всей системы науки. К счастью, остается высокой культура, на которой основана готовность оказывать рецензиями помощь коллегам и журналам, несмотря на постоянно растущее число публикаций. Тем не менее, мы ищем пути вовлечения финансирующих и квалификационных инстанций в этот процесс и будем приветствовать любые предложения по этой части. Рецензирование равных равными представляет собой одно из самых примечательных проявлений коллективного духа науки, и оно нуждается в заботе и укреплении». Editorial. Nature 2010, Vol. 468, р. 29–30

19 Необходимы меры поощрения рецензентов Временный доступ рецензентов к платным ресурсам издательства. Документальное подтверждение участия в рецензировании. Самой действенной мерой может стать включение участия в рецензирование в число квалификационных характеристик, наряду с публикационной активностью. Например, в список условий для присвоения звания доктора наук можно включить наличие определенного числа рецензий в индексированных журналах. Научные руководители аспирантов должны включать в программу обучения участие аспирантов в рецензировании работ, направленных руководителям.