Методология исследований: структура, типы, иерархия, данные, достоверность и обобщаемость результатов Святослав Леонидович Плавинский, д.м.н., профессор, Северо-западный медицинский Университет им. И. И. Мечникова, Санкт- Петербург 28 февраля 2012г.

Цель исследования Основная цель исследования – предсказать, какой результат получат те, кто будет повторять его в аналогичных условиях (цель исследования лекарственного средства – показать, что если пациенты в будущем будут получать подобный препарат, они получат подобный – положительный – результат) Иными словами, доказать причинно следственные связи между вмешательством и исходом

Что нам мешает доказывать? Мы видим, что группе пациентов стало лучше на фоне приема препарата. Что может быть причиной улучшения? –Препарат –Третий фактор (другой препарат, который все получали, сам факт госпитализации и т.п.) –Случайность Иными словами, связь с причиной может быть истинной, а может быть кажущейся вследствие влияния систематических (bias) или случайных (error) факторов

Соотношение случайной и систематической ошибок Низкие Сл и Си Высокая Сл Низкая Си Высокая Си Низкая Сл Высокие Сл и Си

Точность Исследование должно быть точным, т.е. оно должно иметь низкий уровень случайной и систематической ошибки Отсутствие смещения в данных (т.е. измерение того, что хочет исследователь) называют валидностью Способность оценивать параметры с достаточной точностью (низкой вероятностью получения иного результата при повторении исследования) называют надежностью Точность = валидность + надежность

Соответственно Контроль систематической ошибки –Дизайн исследования Количественная характеристика случайной ошибки и ее влияния на оценку результатов –Биостатистика

Влияние ошибок Систематические ошибки могут быть устранены путем использования адекватного дизайна –Отсюда важность «доказательной медицины» - анализа опубликованных исследований для применения в клинической практике на основе анализа качества дизайна исследований Случайные ошибки не могут быть устранены, они могут только минимизироваться и количественно оцениваться. –Поэтому без биостатистики анализ результатов исследования невозможен – как ответить на вопрос «а не являются ли результаты исследования просто следствием случайного стечения обстоятельств?»

Как избежать влияния систематических факторов? Две группы, одинаковые по исходно по всем параметрам –В одной группе проводится вмешательство –В другой – нет Поскольку они исходно «одинаковые», то единственной причиной найденных различий может быть либо воздействие, либо случайные факторы

Вопрос, как создать «одинаковые группы» Ответ «подобрать по полу и возрасту» - неверен –А если они одинаковые по полу и возрасту, но разные по холестерину… или глюкозе… или массе тела… или … Невозможно учесть все факторы, которые могут оказать влияние на исход

Вопрос, как создать «одинаковые группы» Поэтому «вручную» создать одинаковые группы не удастся Однако в теории эксперимента, еще в середине ХХ века было показано, что сопоставимость по наблюдаемым и ненаблюдаемым факторам можно обеспечить, если использовать рандомизацию как процедуру определения, в какую группу пойдет объект исследования – в группу контроля или группу вмешательства

Соответственно Наиболее адекватным дизайном с точки зрения минимизации влияния систематических факторов является –Рандомизированое контролируемое испытание

Популяция Выборка Результат Лечение Контроль ВыборкаРандомизацияЛечениеОценка РКИ

При этом надо помнить… Что мы предполагаем высокую степень точности метода измерения исхода Если метод измерения исхода недостаточно точен, он может представлять угрозу как валидности, так и надежности исследования Именно поэтому в РКИ пытаются использовать высокостандартизированные методы оценки исходов.

Означает ли… … что исследования, проведенные по методологии РКИ всегда дают достоверный результат? Нет. И тому есть две причины: –Несмотря на рандомизацию, группы могут оказаться не одинаковыми Опасность этого увеличивается по мере уменьшения размера выборки –Результаты выборочного исследования никогда не могут быть однозначно истолкованы

Случайная ошибка Поскольку задача науки – предсказание будущего, то исследователь всегда имеет место с частью целого (выборкой) Исследователь берет кусочек целого и пытается на его основе охарактеризовать всю совокупность

Случайная ошибка Однако оценки на основании кусочка сами будут варьировать, тем больше чем –Меньше кусочек –Больше гетерогенность совокупности

Случайная ошибка Если ошибка действительно случайная (шум), то можно воспользоваться этим ее свойством, чтобы определить, насколько полученные результаты могут быть вызваны случайностью –Это и называется статистической обработкой данных Соответственно, на этапе планирования можно оптимизировать соотношение сигнал/шум –Обычно путем изменения размера выборки

Еще одна проблема РКИ А как была получена группа которая рандомизировалась? Является ли она репрезентативной для популяции в которой предлагается использовать результаты исследования –Репрезентативной достигается путем взятия случайной выборки из целевой популяции

Еще одна проблема РКИ Проблема генерализации (внешней валидности) результатов –Результаты можно использовать (генерализовать) только в популяции, из которой пришла выборка Если все пациенты – платные больные клиник N-ского университета, то результаты применимы только к платным больным N-ского университета (или, в крайнем случае, университетов крупных городов) А если все пациенты – из клиники Майо? –Поэтому рекомендуется проводить исследование, включающее как можно больше центров, лучше всего Большое простое многоцентровое исследование

Иерархия доказательств

РКИ –Наверху пирамиды находятся крупные многоцентровые РКИ, выводам которых обычно угрожает только случайная ошибка –Ниже расположены крупные одноцентровые РКИ, которым может угрожать, в дополнение к случайной ошибке, отсутствие релевантности для иных популяций –Еще ниже небольшие РКИ, выводам которых может угрожать все, что угрожает более качественным исследованиям плюс возможность систематической ошибки вследствие случайного дисбаланса групп вмешательства Все остальные исследования сохраняют все проблемы РКИ, но добавляют к ним свои собственные, поэтому их доказательность находится еще ниже

Когортное исследование

Возможно,что отказавшиеся от участие в исследовании отличаются от согласившихся по ряду показателей, например, заботе о собственном здоровье. Eсли между группами найдены различия, они могут быть объяснены, как эффектом вмешательства, так и различиями вследствие разного отношения к здоровью. Возможность альтернативного толкования результатов исследования снижает уровень доказательности.

Типы когортных исследований Проспективные популяционные –Выборка из популяции, наблюдение вперед во времени Ретроспективные популяционные –Выборка из популяции, анализ собранных ранее данных Проспективные (групповые) проспективные и ретроспективные –Непопуляционные группы

Когортные исследования в клинике Исследования с историческим контролем (если был отбор до начала терапии) Отбор в группы вмешательства «по показаниям» Любые другие методы, при которых не было истинной рандомизации

Исследование случай- контроль

Возможна та же ошибка самоотбора, что и в случае когортного исследования Возможны другие ошибки –Ошибки воспоминаний (больные могут с большей вероятностью вспомнить о том, что у них были нездоровые практики - переедание или потребление большого количества соли) –Ошибки обратного направления (фактор ускоряет прогрессирование заболевания к фатальному исходу. Среди больных он будет встречаться реже и исследователь сделает ошибочный вывод о том, что фактор является благоприятным, а не вредоносным) –И громадное количество других…

Исследования случай- контроль При положительном результате исследования возможно, что: 1.Вмешательство эффективно 2.Вмешательство не эффективно, различия связаны с исходными различиями между группами вмешательства и контроля 3.Вмешательство вредно, группа больных содержит меньшее количество подвергавшихся воздействию, поскольку подвергшиеся воздействию умирали чаще Все три толкования возможны (хотя и не равновероятны) по результатам одного и того же исследования, вне зависимости от количества включенных в него пациентов и полученного уровня статистической значимости.

Другие дизайны Вложенные СК –СК на основе данных когортного исследования Одномоментные исследования –Исследования по типу случай-контроль, когда случаи и контроли находятся в результате обследования популяции (скринига) Панельные исследования –Серия одномоментных исследований

Экологические исследования Другое название - корреляционные Измерение показателей в популяции в целом. Отсутствие данных на индивидуальном уровне

Повторим Доазательность исследования определяется его точностью Точность складывается из валидности и надежности полученных данных Дизайн исследования обеспечивает валидность, причем –метод формирования выборки исследования служит для обеспечения внешней валидности, –Структура исследования обеспечивают внутреннюю валидность Размер выборки обеспечивает надежность исследования (позволяя минимизировать влияние случаной ошибки)

Выводы (иерархия доказательств) Под доказательностью понимают отсутствие возможных альтернативных интерпретаций полученных данных Чем ниже в иерархии доказательности расположен тип исследования, тем больше альтернативных объяснений можно дать полученному результату и ниже доказательность Если исследование с более высоким статусом дает другой результат, значит предположение о возможности альтернативного объяснения исходного исследования укрепляется Необходимо стараться проводить исследования с максимально возможным уровнем доказательности