Перечень биомедицинских журналов ВАК: качество публикаций и экспертизы. - презентация

1 Перечень биомедицинских журналов ВАК: качество публикаций и экспертизы

2 Сайт ВАК – версия от ноября 2010 Часто недоступен (напр., 19/12/10) Отсутствует информация о составе экспертных советов Отсутствует информация о деятельности экспертных советов …

3 Формирование Перечня журналов ВАК в 2010 г. Объявлены формальные требования к журналу, среди них Достаточное условие – включение издания в одну из «систем цитирования» (… PubMed …- это не система цитирования, а базы данных!!!) Наличие у издания института рецензирования для экспертной оценки рукописей – декларация? (о статистическом рецензировании не упоминается) оценка журнала экспертной комиссией ВАК, по словам Г. Фомина, начальника отдела организационно- методической работы Управления организации и государственного контроля в сфере аттестации научных и научно-педагогических работников Рособрнадзора (процедура не объявлена)

4 Отставание отечественных журналов Web of Science: среди российских журналов самый высокий импакт-фактор 1,5 имеет журнал «Биохимия» Занимающие верхние строчки рейтинга базы зарубежные журналы Annual Review of Biochemistry, Physiological Reviews и Nature Genetics имеют импакт-факторы соответственно 31,6, 30,1 и 29,6, т.е. в 20 раз выше, чем наши

5 « Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты» В.П. Леонов доцент Томского государственного университета, редактор сайта БИОМЕТРИКА

6 Исследование В.П. Леонова опубликовано: Анализ качества представления процедуры и результатов статистического анализа в 600 публикациях статьи диссертации тезисы конференций 173 страницы

7 Доказательная медицина это технология сбора, обобщения и анализа медицинской информации, которая позволяет формулировать научно обоснованные решения в медицине

8 Доказательная медицина и статистика Одним из важнейших инструментов доброкачественных исследований для ДМ является статистика. Одним из важнейших инструментов доброкачественных исследований для ДМ является статистика. Отношение медиков к статистике нередко выступает в качестве лакмусовой бумажки их отношения к ДМ в целом. Отношение медиков к статистике нередко выступает в качестве лакмусовой бумажки их отношения к ДМ в целом.

9 Отношение к статистике в среде медиков Группы медиков: 1. Понимают важность и полезность статистики как одного из основных инструментов ДМ. Овладевают на идейном уровне основными методами биостатистики, статистическими пакетами, в пределах своих возможностей. 2. Относятся к статистике как неизбежному элементу исследования, призванному придать результатам «глянец научности», и в силу этого воспроизводят как наиболее популярные правильные решения, так и ошибки и заблуждения, присущие их коллегам. 3. Считают статистику, как инструмент, вообще непознаваемой.

10 Цель исследования В.П. Леонова Оценка надёжности авторских выводов в области медицинских технологий, базирующихся на результатах использования статистических методов, а также классификация типичных ошибок и заблуждений при использовании методов статистики для анализа биомедицинских данных.

11 Материалы исследования В течение 2010 г. были проанализированы статьи из электронных версий журналов, входящих в список журналов, рекомендованных ВАК для публикации результатов кандидатских и докторских диссертаций. «Мать и дитя в Кузбассе» «Мать и дитя в Кузбассе» ( 39 выпусков) «Медицина в Кузбассе» «Медицина в Кузбассе» ( 83 выпуска ) «Политравма» «Политравма» ( 16 выпусков) Эти журналы есть и в последней версии Перечня от диссертации Были также проанализированы 74 диссертации и материалы научно- практических конференций, проведенных в Кемерово публикаций. Всего было проанализировано порядка 1000 публикаций.

12 География публикаций Авторская география проанализированных публикаций не ограничена только Кузбассом: Кемерово, Новокузнецк, Прокопьевск, Ленинск-Кузнецкий, Красноярск, Томск, Омск, Новосибирск, Тюмень, Уфа, Абакан, Барнаул, Санкт- Петербург, Москва, Чита, Ставрополь, Ижевск, Смоленск, Казань, Екатеринбург, Владивосток, Ярославль, Пермь, Челябинск, Хабаровск и т.д. Авторская география проанализированных публикаций не ограничена только Кузбассом: Кемерово, Новокузнецк, Прокопьевск, Ленинск-Кузнецкий, Красноярск, Томск, Омск, Новосибирск, Тюмень, Уфа, Абакан, Барнаул, Санкт- Петербург, Москва, Чита, Ставрополь, Ижевск, Смоленск, Казань, Екатеринбург, Владивосток, Ярославль, Пермь, Челябинск, Хабаровск и т.д.Но: Журналы учреждены и издаются именно в Кузбассе. Журналы учреждены и издаются именно в Кузбассе. Редакционная коллегия медицинских журналов представлена в основном учёными Кузбасса. Редакционная коллегия медицинских журналов представлена в основном учёными Кузбасса. Анализируемые диссертации были либо выполнены в организациях Кузбасса, либо в них защищены. Анализируемые диссертации были либо выполнены в организациях Кузбасса, либо в них защищены. Медицинская наука Кузбасса Медицинская наука Кузбасса

13 Полученный материал обрабатывали статистически Статистическую обработку проводили стандартными (общепринятыми, общепризнанными) методами Нет общепринятых методов статистики Статистическую обработку проводили критерием Стьюдента (вариант: СтЪюдента). Статистическая обработка полученных данных осуществлялась качественным методом группой экспертов. нонсенс Описания статистических аспектов исследований, встречающиеся во многих публикациях

14 Статистическую обработку проводили с использованием метода (методов) вариационной статистики Нет невариационной статистики Обработку результатов проводили с использованием метода (методов) математической статистики Больных лечили медицинскими методами Зубы пациентов лечили стоматологическими методами Полученные цифровые данные обрабатывали статистически с применением критерия достоверности Все расчёты осуществлены с использованием стандартного программного пакета Word !!! Описания статистических аспектов исследований, встречающиеся во многих публикациях

15 КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ? Диссертация на соискание учёной степени к.м.н. Красновой Н.В. «Медико- социальные и ультразвуковые аспекты скрининговых исследований гиперпластических процессов эндометрия» Научные руководители: зам. директора по научной работе Кузбасского кардиологического центра, д.м.н., проф. Артамонова Г.В.; главный врач МУЗ «Клинический консультативно- диагностический центр», д.м.н., проф. Колпинский Г.И. Кемерово – 2004.

16 КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ? Проверка какой статистической гипотезы проводилась, в результате которой был получен для использованного (неизвестного) статистического критерия уровень Р0,05?

17 КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ? К.Е. Казакова, Е.И. Кондратьева, А.А. Терентьева, Г.А. Суханова, Р.В. Чусова, М.В. Лепехина, Л.К. Обликова, Л.П. Рихванов. Влияние экологических факторов на распространенность мочевого синдрома среди детей г. Томска. Мать и Дитя в Кузбассе 1 (28) 2007, стр «Статистический анализ проведен с использованием пакета прикладных программ Statistica 6.0 для непараметрических исследований». Цитируем: «Статистический анализ проведен с использованием пакета прикладных программ Statistica 6.0 для непараметрических исследований». Полагаем, что комментарии излишни…

18 ПРОЦЕНТЫ – ПРИМИТИВНО? ЗАТО ДОСТУПНО! Аккерт Е.М., Бушмакина О.А. Гигиенические знания по уходу за полостью рта у студентов разных высших учебных заведений г. Кемерово. Кафедра детской стоматологии Кемеровской государственной медицинской академии, г. Кемерово. Научный руководитель – д.м.н., проф. Г.Ф. Киселев. Проблемы медицины и биологии: мат. Межрег. науч.-практ. конф. молодых ученых и студентов, посвященной 55-летию КемГМА (Кемерово, 15–16 апр г.) / Под общ. ред. В. И. Подолужного; отв. ред. Д. Ю. Кувшинов. – Кемерово: КемГМА, – 242 с. (URL: ) Цитируем: «Проанкетировано 514 человек обоего пола (18–24 лет), обучающихся в различных высших учебных заведениях г. Кемерово. … Полученные результаты статистически обработаны. … Отмечено, что около 63 % студенческого населения пользуются зубными щетками средней жесткости, 12,2 % – мягкими зубными щетками, 12,2 % покупают зубные щетки случайно и не знают степень ее жесткости, 10,2 % студентов используют жесткие зубные щетки, 2,2 % – очень жесткие, а 0,2 % студентов предпочитают очень мягкие зубные щетки». С полным основанием утверждение «Полученные результаты статистически обработаны» можно заменить утверждением «Полученные результаты арифметически обработаны». Ведь процентные отношения изучаются в школе в рамках арифметики.

19 Упоминание в диссертациях и статьях критерия Стьюдента «Данные обработаны статистически с использованием параметрического t-критерия Стьюдента» «Полученные цифровые данные подвергали математико- статистической обработке по Стьюденту» «Достоверность различий между средними величинами параметров определяли с помощью критерия Стьюдента» …

20 Использование критерия Стьюдента Цюрюпа В.Н., Визило Т.Л., Власова И.В., Одинцева О.В. Неврологические аспекты бронхиальной астмы. Медицина в Кузбассе. 4, 2005, стр ФГЛПУ Научно-клинический центр охраны здоровья шахтеров, г. Ленинск-Кузнецкий. Обратим внимание на то, что авторы практически постулируют, что все признаки в группах сравнения имеют нормальное распределение. На чём основана такая уверенность? И почему не упоминается второе обязательное условие применимости этого критерия – равенство дисперсий?

21 Т-критерий Стьюдента Анализ 1540 отечественных и 392 зарубежных журнальных статей, а также 160 отечественных диссертаций биомедицинской тематики: Т-критерий Стьюдента используется в 58% отечественных публикаций В зарубежных публикациях этот метод используется лишь в 11% публикаций Популярность Т-критерия Стьюдента объясняется и сторически – он прост для ручных вычислений, что было решающим в до-компьютерную эпоху

22 Проблема и решение С. Гланц: Ошибочное использование критерия Стьюдента увеличивает вероятность «выявить» несуществующие различия Условием публикации в JAMA является согласие авторов со следующим положением: «В случае необходимости я предоставлю данные, на которых основана рукопись, на проверку редакторам или их уполномоченным»

23 Пример незнания и непонимания основных понятий статистики Статья Н.А. Барбараш, О.Л. Барбараш. Некоторые аспекты взаимосвязи образования и здоровья. Медицина в Кузбассе. 1, 2007, стр Кемеровская государственная медицинская академия, г. Кемерово.

24 Описания статистических аспектов исследования Урошникова Н.А., Аникина Е.В., Никулин А.В. Влияние дефектов зубных рядов на качество жизни больных сахарным диабетом. Медицина в Кузбассе. Спецвыпуск , стр Ижевская государственная медицинская академия, Республиканская стоматологическая поликлиника, г. Ижевск. «Построение гистограмм производили с использованием статистического пакета Microsoft Excel методами параметрической статистики». Цитируем: «Построение гистограмм производили с использованием статистического пакета Microsoft Excel методами параметрической статистики». В таких случаях уместно спросить: Уважаемые! Вы сами-то поняли, что написали? Как можно использовать «методы параметрической статистики» в «построении гистограмм»? А если можно, то где об этом написано в вашей статье?

25 Описания статистических аспектов исследования Диссертация Мун Стеллы Андреевны: Оценка канцерогенного воздействия окружающей среды на население крупного центра углеперерабатывающей промышленности Западной Сибири. Диссертация на соискание учёной степени кандидата медицинских наук. Научный руководитель: доктор медицинских наук, профессор, заместитель председателя диссертационного совета Д по защите диссертаций на соискание ученой степени доктора медицинских наук по специальностям: гигиена (медицинские науки); эпидемиология (медицинские науки) общественное здоровье и здравоохранение (медицинские науки) Громов Константин Георгиевич. Официальные оппоненты: доктор медицинских наук Куркатов Сергей Васильевич, кандидат медицинских наук, доцент Чухров Юрий Семенович. Ведущая организация: ГУ НИИ комплексных проблем гигиены и профессиональных заболеваний СО РАМН. Кемерово – Т. е. диссертант, например, брала два, (или более?) непараметрических критерия (каких конкретно?), сравнивала их между собой (непонятно только зачем и как?), и для того, чтобы установить, различаются ли они между собой значимо, использовала Хи-квадрат. При этом критический уровень значимости для Хи-квадрат принимала равным 0,05.

26 Почему же статистика столь сложна для понимания врачами? С точки зрения профессионального медика: Многие статистические термины создают ощущение ложного узнавания, поскольку были заимствованы из обыденного языка, например "значимый", "ошибка", "нормальный". Многие авторы статей не осознают различий между терминологическим и обыденным смыслом этих слов. Понимание статистических принципов требует развитого абстрактного мышления, занятие же медициной не располагает к увлечению абстракциями. Врачам непривычно мыслить такими категориями, как популяция, вероятность распределения, нулевая гипотеза. Врачи испытывают почти мистический трепет перед математическим аппаратом, лежащим в основе статистических расчетов, полагая, что точная наука не может ошибаться. Это приводит к наивной вере во всемогущество статистических методов, без понимания их роли и особенностей применения.

27 Внимание! Авторами проанализированных публикаций являются не случайные в науке люди, уровня медицинского персонала из сельских ФАП, а известные врачи, работающие в больших организациях, таких как медицинские академии и университеты, НИИ РАМН и т.д. Эти организации представлены в «Перечне учреждений здравоохранения, имеющих право проводить клинические исследования лекарственных средств», утверждённому приказом Федеральной службы по надзору в сфере здравоохранения и социального развития от Пр/10. А согласно «Правилам аккредитации медицинских организаций на право проведения клинических исследований лекарственных препаратов для медицинского применения» эти медицинские организации должны «иметь в штате специалистов, получивших дополнительное профессиональное образование в области проведения клинических исследований лекарственных препаратов». Поскольку такие исследования невозможно проводить без использования методов статистики, то это требование означает наличие в таких организациях специалистов, получивших дополнительное профессиональное образование по статистике.

28 Документ «Правила проведения качественных клинических испытаний в Российской Федерации» ОСТ : п. 2.38: «Отчёт включает в себя описание клинических и статистических методов, а также представленные в наглядной форме результаты анализа данных исследования». п. 7.9 «Статистика»: в отчёте требуется приводить описание всех методов статистической обработки данных, а также применяемый уровень значимости. п «Спонсор должен привлекать квалифицированных сотрудников (биостатистиков, клинических фармакологов, врачей) на всех этапах проведения исследования, начиная со стадии создания протокола, карт испытуемых, статистики и заканчивая обработкой данных и подготовкой промежуточного и окончательного отчетов».

29 Документ «НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОСТР НАДЛЕЖАЩАЯ КЛИНИЧЕСКАЯ ПРАКТИКА» (ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ. Москва, 2005) «Надлежащая клиническая практика (Good Clinical Practice; GCP) представляет собой международный этический и научный стандарт планирования и проведения исследований с участием человека в качестве субъекта, а также документального оформления и представления результатов таких исследований. Соблюдение указанного стандарта служит для общества гарантией того, что права, безопасность и благополучие субъектов исследования защищены, согласуются с принципами, заложенными Хельсинкской декларацией Всемирной медицинской ассоциации (ВМА), и что данные клинического исследования достоверны». Последнее надо понимать так, что несоблюдение требований указанного стандарта не гарантирует достоверность клинического исследования. В п сказано: «Спонсор обязан привлекать обладающих соответствующей квалификацией лиц для общего руководства исследованием, работы с данными, верификации данных, проведения статистического анализа и подготовки отчётов об исследовании». В п. 6.9 «Статистика» также говорится о необходимости описания статистических методов и уровня значимости.

30 Деформация целей и причин появления публикаций Количество публикаций, а не их качество, является одним из основных доказательств успешности деятельности сотрудника, кафедры, факультета, вуза, НИИ и т.п. Этому же способствует и политика ВАК, штампующей некачественные диссертации, в которых в массовом порядке присутствуют «статистический шлак». К этому приводит и непрофессионализм журнальных редколлегий. Если в таких всемирно известных журналах, как Lancet, BMJ и JAMA, печатаются лишь 4-5% поступающих рукописей, то в отечественных журналах, особенно в небольших региональных, практически все 100%.

31 ЗАЧЕМ НАМ КУЗНЕЦ? НАМ КУЗНЕЦ НЕ НУЖЕН Чем же объяснить отсутствие статистического сервиса в отечественных медицинских вузах и НИИ? Причины: требования в области корректности использования и описания статистики в биомедицине со стороны ВАК и отечественных медицинских журналов, в том числе журналов, включённых в так называемый «Перечень ведущих периодических изданий» ВАК, практически отсутствуют руководители многих НИИ не заинтересованы в высоком качестве научно-исследовательских работ

32 Истинная причина Введение статистического рецензирования диссертаций, которое по замыслу должно привести к повышению их качества, неизбежно приведёт к снижению их количества.

33 Кто виноват? Что делать? Необходимые меры для повышения качества публикаций Организация целевых семинаров для аспирантов и докторантов по статистической тематике Формулирование редакционными коллегиями медицинских научных журналов ясных и понятных требований к использованию и описанию в публикациях статистических методов Введение института статистического рецензирования в журналах

34 Кто виноват? Что делать? Обширная география авторов проанализированных публикаций Межрегиональный статус журналов и диссертационных советов Современный уровень требований к статистическим аспектам в рукописях статей и диссертациях Получение более объективной оценки уровня статистических аспектов в поступающих рукописях и диссертациях Привлечение специалистов в области статистики Изменение отношения исследователей к биостатистике

35 Цифры С 1996 по 2006 г., по данным ВАК, число защищённых кандидатских диссертаций в России выросло в 2,6 раза, причем по Центральному федеральному округу всего на 70%. По данным Рособрнадзора, в 2005 г. защищено было диссертаций. Имеет место трёхкратный рост числа кандидатов и докторов по медицинским и сельскохозяйственным наукам. Отклоняются, по данным ВАК, всего лишь 3% представленных работ. Такой рост числа диссертаций приводит к тому, что ВАК РФ физически не в состоянии контролировать качество этих диссертаций. Тенденция передачи полномочий по окончательным решениям по диссертациям в диссертационные советы.

36 Диссертации в Интернет! Президент Российской Федерации Д.А. Медведев: «…особое внимание должно быть уделено формированию единой базы научных диссертаций в электронном виде и обеспечению прозрачности процедуры их защиты. Все диссертации, все авторефераты по-хорошему должны быть выложены в электронной форме, чтобы были видны те, кто у нас реально наукой занимается, и те диссертации, за которые просто стыдно иногда бывает».

37 Меры для повышения качества публикаций Одно лишь размещение полных текстов диссертаций в Интернет не решит основных проблем повышения их качества. Радикальные меры: Электронные тексты всех диссертаций, кроме имеющих гриф ограниченного доступа, необходимо предъявлять в диссертационный совет и в ВАК, который бы размещал их на своём сайте. Причём формат этих текстов должен обеспечивать свободное копирование как всего текста, так и отдельных его фрагментов. Кроме того, на сайте должна быть предусмотрена возможность обсуждения каждой работы.

38 Меры для повышения качества публикаций Почему столь важно обеспечение свободного доступа к полному тексту диссертации? расширение экспертной аудитории, следовательно более объективная оценка качества исследования проверка текста диссертации на наличие в нём плагиата. Это возможно с использованием обычных поисковых систем Представление электронных отзывов на сайте ВАК, что даст диссертационному совету возможность более объективной оценки представленных диссертаций В чём же ещё практическая польза от размещения полных текстов диссертаций в Интернет? реальная возможность оценки достигнутых результатов научного исследования будущими потребителями

39 В.П. Леонов Благодарю за внимание

40 Московское отделение Общества специалистов доказательной медицины К одекс члена ОСДМ распространять научно-обоснованную информацию о медицинских вмешательствах и возможностях получения такой информации воздерживаться от распространения не обоснованной научно информации об эффективности медицинских вмешательств среди врачей и населения декларировать имеющийся конфликт интересов О.Ю. Реброва