Оценка когортного исследования Ирина Ибрагимова

Статья Введение научно обоснованной медицины в программу журнального клуба с применением структурированных тестов до и после занятий: когортное исследование Введение научно обоснованной медицины в программу журнального клуба с применением структурированных тестов до и после занятий: когортное исследование BMC Medical Education 2001;1(1):6 BMC Medical Education 2001;1(1):6 der.fcgi?tool=pubmed&pubmedid= der.fcgi?tool=pubmed&pubmedid=

12 вопросов При оценке результатов когортного исследования необходимо учитывать три При оценке результатов когортного исследования необходимо учитывать три главных аспекта: Являются ли результаты исследования достоверными? Являются ли результаты исследования достоверными? Какие получены результаты? Какие получены результаты? Могут ли эти результаты быть полезны в местных условиях? Могут ли эти результаты быть полезны в местных условиях? Двенадцать вопросов, представленные на следующих Двенадцать вопросов, представленные на следующих cлайдах, помогут в более систематическом подходе к каждому из этих аспектов

Обзорные вопросы Первые два вопроса являются обзорными и требуют минимума времени для ответа. Первые два вопроса являются обзорными и требуют минимума времени для ответа. В случае положительного ответа на них имеет смысл переходить к остальным. В случае положительного ответа на них имеет смысл переходить к остальным.

А.1. Были ли четко формулированы цели исследования? ДА – Не знаю – НЕТ Насколько четко поставлен вопрос в части: охваченного исследованием контингента; охваченного исследованием контингента; учтенных факторов риска; учтенных факторов риска; рассмотренных вариантов исходов; рассмотренных вариантов исходов; преследовало ли исследование явным образом цель выявления полезного или вредного эффекта? преследовало ли исследование явным образом цель выявления полезного или вредного эффекта?

Были ли четко сформулированы цели исследования? Да Да В исследовании участвовали 35 врачей, обучающихся в клинической ординатуре по специальности «семейная медицина». Программа журнального клуба была перестроена таким образом, чтобы ознакомить участников с принципами научно обоснованной медицины, закрепить и оценить понимание ими этих принципов. Учебные материалы по основам научно обоснованной медицины выбирались с таким расчетом, чтобы помочь клиническим ординаторам овладеть навыками выявления достоверных источников информации, которые могут повлиять на их практическую работу. Результаты обучения оценивались. В исследовании участвовали 35 врачей, обучающихся в клинической ординатуре по специальности «семейная медицина». Программа журнального клуба была перестроена таким образом, чтобы ознакомить участников с принципами научно обоснованной медицины, закрепить и оценить понимание ими этих принципов. Учебные материалы по основам научно обоснованной медицины выбирались с таким расчетом, чтобы помочь клиническим ординаторам овладеть навыками выявления достоверных источников информации, которые могут повлиять на их практическую работу. Результаты обучения оценивались. Исследование было направлено на выявление положительного эффекта. Исследование было направлено на выявление положительного эффекта.

2. Верный ли метод выбрали авторы для поиска ответа на свой вопрос? ДА – Не знаю – НЕТ ДА – Не знаю – НЕТ Является ли когортное исследование хорошим методом поиска ответа Является ли когортное исследование хорошим методом поиска ответа на вопрос в данных условиях? Было ли оно направлено на разрешение вопроса исследования? Было ли оно направлено на разрешение вопроса исследования?

Верный ли метод выбрали авторы для поиска ответа на свой вопрос? ДА Если проведение рандомизированного контролируемого исследования затруднительно (невозможно), следующим по эффективности методом является когортное исследование.

Имеет ли смысл продолжать? ДА Далее перечислены 10 детализированых вопросов.

Детализированные вопросы касаются следующих аспектов: Построение исследования Построение исследования Проведение исследования Проведение исследования Анализ Анализ Интерпретация Интерпретация

A.3. Приемлем ли способ отбора участников исследования? ДА – Не знаю – НЕТ ДА – Не знаю – НЕТ Была ли отобранная когортная группа репрезентативной по отношению Была ли отобранная когортная группа репрезентативной по отношению к целевому контингенту? к целевому контингенту? Не имела ли отобранная когортная группа каких-либо особенностей? Не имела ли отобранная когортная группа каких-либо особенностей? Все ли, кого следовало включить в когортную группу, были в нее включены? Все ли, кого следовало включить в когортную группу, были в нее включены?

Приемлем ли способ отбора участников исследования? ДА ДА Все участники исследования обучались в клинической ординатуре по специальности «семейная медицина». Информация, касающаяся клинических ординаторов 1-го года обучения, была собрана, но не включена в отчет ввиду их отсутствия на момент реорганизации журнального клуба на 10-м модуле программы учебного года, состоящей из 13 модулей. Все участники исследования обучались в клинической ординатуре по специальности «семейная медицина». Информация, касающаяся клинических ординаторов 1-го года обучения, была собрана, но не включена в отчет ввиду их отсутствия на момент реорганизации журнального клуба на 10-м модуле программы учебного года, состоящей из 13 модулей.

А.4. Было ли вмешательство тщательно измерено с целью минимизации ошибок? Да Не знаю Нет

Было ли вмешательство тщательно измерено с целью минимизации ошибок? Да Да Для измерения продвижения в выполнении задач реорганизованного журнального клуба в качестве первичного метода оценки результатов было выбрано письменное тестирование до и после каждого занятия журнального клуба. Тестирование до занятия позволяет оценить исходный уровень понимания и компетентности, обеспечивая непосредственную обратную связь. Для измерения продвижения в выполнении задач реорганизованного журнального клуба в качестве первичного метода оценки результатов было выбрано письменное тестирование до и после каждого занятия журнального клуба. Тестирование до занятия позволяет оценить исходный уровень понимания и компетентности, обеспечивая непосредственную обратную связь.

5. Были ли исходы точно измерены для избежания систематических ошибок? Да Да Не знаю Не знаю Нет Нет

Были ли исходы точно измерены для избежания систематических ошибок? Да Да В качестве первичного метода оценки результатов было выбрано письменное тестирование до и после каждого занятия журнального клуба. В качестве первичного метода оценки результатов было выбрано письменное тестирование до и после каждого занятия журнального клуба.

6. Все ли важные сопутствующие вмешательства были выявлены исследователями? Да Да Не знаю Не знаю Нет Нет

Все ли важные сопутствующие вмешательства были выявлены исследователями? Не знаю Не знаю

7. A. Было ли последующее наблюдение за участниками достаточно полным? B. Было ли последующее наблюдение за участниками достаточно продолжительным? Да Да Не знаю Не знаю Нет Нет

Было ли последующее наблюдение за участниками достаточно полным и продолжительным? Не знаю Не знаю

8. Каковы результаты проведенного исследования? ПОЯСНЕНИЯ: Каков основной смысл полученных результатов? Каков основной смысл полученных результатов? Сообщается ли о соотношениях или пропорциях между группами (подвергавшейся и не подвергавшейся данному вмешательству), о различиях в соотношениях / пропорциях? Сообщается ли о соотношениях или пропорциях между группами (подвергавшейся и не подвергавшейся данному вмешательству), о различиях в соотношениях / пропорциях? Насколько сильна корреляция между примененным вмешательством и исходом (RR,)? Насколько сильна корреляция между примененным вмешательством и исходом (RR,)? Как велико оказалось абсолютное снижение риска (ARR)? Как велико оказалось абсолютное снижение риска (ARR)?

Каковы результаты проведенного исследования? Введение тестирования до и после занятия помогало достичь целей обучения, обеспечивая лучшее понимание и применение принципов научно обоснованной медицины. Введение тестирования до и после занятия помогало достичь целей обучения, обеспечивая лучшее понимание и применение принципов научно обоснованной медицины.

9. Насколько точны полученные результаты? Насколько точна оценка рисков? ПОЯСНЕНИЯ: Насколько велики доверительные интервалы? Насколько велики доверительные интервалы?

Насколько точны полученные результаты? Общее различие между показателями до и после тестирования достигало уровня значимости (F 2.04, p = 0.046). Общее различие между показателями до и после тестирования достигало уровня значимости (F 2.04, p = 0.046).

10. Доверяете ли вы результатам? Да Да Не знаю Не знаю Нет Нет

Доверяете ли вы результатам? Да Да

11. Применимы ли полученные результаты к местному населению? Да Да Не знаю Не знаю Нет Нет

Применимы ли полученные результаты к местному населению? Не знаю Не знаю

12. Согласуются ли результаты исследования с другими известными фактами? Да Да Не знаю Не знаю Нет Нет

Согласуются ли результаты исследования с другими известными фактами? Да Да При формальном определении навыков критической оценки у клинических ординаторов правильные ответы варьировали в пределах от 33 до 42%, что свидетельствовало об ограниченной интеграции этих принципов – такие же показатели были зафиксированы в данном учреждении в предыдущие три года, когда общее среднее значение для поступающих на первый курс клинической ординатуры составляло 32%. Медианное дотестовое значение 79.0%, достигнутое в конце первого года нашего вмешательства, было безусловно сопоставимо с этими результатами и значительно их превосходило. При формальном определении навыков критической оценки у клинических ординаторов правильные ответы варьировали в пределах от 33 до 42%, что свидетельствовало об ограниченной интеграции этих принципов – такие же показатели были зафиксированы в данном учреждении в предыдущие три года, когда общее среднее значение для поступающих на первый курс клинической ординатуры составляло 32%. Медианное дотестовое значение 79.0%, достигнутое в конце первого года нашего вмешательства, было безусловно сопоставимо с этими результатами и значительно их превосходило.