Изучение Гетерогенности. cochrane training Шаги разработки Кокрейновского систематического обзора 1.Определите вопрос 2.Спланируйте критерии приемлемости. - презентация

1 Изучение Гетерогенности

2 cochrane training Шаги разработки Кокрейновского систематического обзора 1. Определите вопрос 2. Спланируйте критерии приемлемости доказательств 3. Спланируйте методы 4. Проведите поиск исследований 5. Примените критерии приемлемости 6. Соберите данные 7. Оцените исследования на предмет риска смещения 8. Проанализируйте и представьте результаты 9. Интерпретируйте результаты и сформулируйте выводы 10. Улучшайте и обновляйте обзор

3 cochrane training План Что такое гетерогенность? Предположения о гетерогенности Выявление гетерогенности Изучение ваших результатов См. Главу 9 Пособия

4 cochrane training Что такое гетерогенность? Вариация или различия Три обширных типа: клиническая методологическая статистическая

5 cochrane training Клиническое разнообразие участники Например, условия, возраст, пол, месторасположение, критерии приемлемости исследования, вмешательства интенсивность/доза, длительность, доставка (лекарства), дополнительные компоненты, опыт практикующих врачей, контроль (плацебо, ничего, стандартный уход) исходы длительность периода наблюдения, способы измерения, определение события, пороговые точки

6 cochrane training Методологическое разнообразие Дизайн исследования Например, рандомизированное против нерандомизированного, перекрестное против параллельного, индивидуальное против кластер- рандомизированного Проведение Например, риск смещения (сокрытие распределения, ослепление, и т.д.), подход к анализу

7 cochrane training Статистическая гетерогенность Всегда будет случайная (выборка) вариация между результатами разных исследований Гетерогенность является вариацией между эффектами, которые измеряют, в различных исследованиях Вызвана клиническим и методологическим разнообразием Альтернатива гомогенности (идентичные истинные эффекты, лежащие в основе каждого исследования) Результаты исследований будут более отличны друг от друга, чем если бы случайная вариация была единственной причиной для различий между оцененными эффектами вмешательства

8 cochrane training План Что такое гетерогенность? Предположения о гетерогенности Выявление гетерогенности Изучение ваших результатов

9 cochrane training Фиксированные эффекты против случайных эффектов Две модели для мета-анализа доступны в RevMan Делайте различные предположения о гетерогенности Предопределите ваш запланированный подход в протоколе

10 cochrane training Модель фиксированных эффектов Предполагает, что все исследования измеряют один и тот же эффект лечения Оценивает этот один эффект Если бы не случайная ошибка (выборочное исследование), все результаты были бы идентичны Общий Случайная ошибка (выборка) истинный результат Результаты исследования Источник: Julian Higgins

11 cochrane training Модель случайных эффектов Случайная ошибка Специфический - эффект исследования Средняя истинных эффектов Предполагает, что эффект лечения варьирует в исследованиях Оценивает среднюю распределения эффектов Взвешивает обе вариации: внутри исследования и между исследованиями (tau 2, 2 ) Источник: Julian Higgins

12 cochrane training Какая разница? Мета-анализы случайных эффектов: Почти идентичны таковым с фиксированными эффектами, когда нет гетерогенности Подобны таковым с фиксированными эффектами, но с более широкими доверительными интервалами, когда гетерогенность типа, предположенной моделью случайных (СЭ) [RE] эффектов Отличны от мета-анализов постоянных эффектов, когда результаты связаны с размером исследования Модель СЭ [RE] дает относительно больше веса/значимости более мелким исследованиям

13 cochrane training Отсутствие гетерогенности Адаптировано из Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3. FixedRandom

14 cochrane training Немного гетерогенности Adapted from Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2. FixedRandom

15 cochrane training Adapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2. Эффекты малых исследований FixedRandom

16 cochrane training Что выбрать? Планируйте свой способ на стадии протокола Ожидаете ли вы, что ваши результаты будут очень разнообразны? Рассмотрите предположения, лежащие в основе моделей Фиксированного эффекта Может быть нереалистичным – игнорирует гетерогенность Случайных эффектов Допускает гетерогенность Оценка распределения исследований может быть неточной, если существуют смещения, мало исследований или мало событий

17 cochrane training План Что такое гетерогенность? Предположения о гетерогенности Выявление гетерогенности Изучение ваших результатов

18 cochrane training Выявление гетерогенности Визуальная проверка лессовидных диаграмм Хи - квадрат ( 2 ) тест (Q тест) I 2 статистика для вычисления гетерогенности

19 cochrane training Визуальная проверка Лесовидная диаграмма AЛесовидная диаграмма В

20 cochrane training Тест хи- квадрат ( 2 ) Проверяет нулевую гипотезу гомогенности Более низкая мощность с меньшим числом исследований Может определить клинически незначимые различия при множестве исследований Узкий вопрос (да/нет) бесполезен, если гетерогенность неминуема вычисляется автоматически RevManом

21 cochrane training I 2 статистика I 2 описывает процент вариабельности, определяющейся в большей степени гетерогенностью, чем вероятностью (случайностью) (0% до 100%) Низкие значения обозначают отсутствие или небольшую гетерогенность Высокие значения обозначают много гетерогенности вычисляется автоматически RevManом Будьте осторожны при интерпретации

22 cochrane training I 2 статистика

23 chi 2 = df = 13 P = chi 2 = 6.14 df = 3 P = 0.11 I 2 = 56% I 2 = 51% Source: Julian Higgins

24 cochrane training Что делать с гетерогенностью Проверьте правильность данных Рассмотрите в своей интерпретации Особенно если направление эффектов различается Если гетерогенность очень высокая Интерпретируйте результаты фиксированных эффектов с осторожностью Рассмотрите анализ чувствительности – внесли бы случайные эффекты значительную разницу? Можете не проводить мета-анализ Средний результат может быть бессмысленным на практике Рассмотрите клиническую и методологическую сравнимость исследований Избегайте Изменения ваших мер эффектов или моделей анализа Исключения выбивающихся исследований Исследуйте гетерогенность

25 cochrane training План Что такое гетерогенность? Предположения о гетерогенности Выявление гетерогенности Изучение ваших результатов

26 cochrane training Изучение ваших результатов Какие факторы, как оказывается, модифицируют эффект? Клиническое разнообразие (популяция, вмешательства, исходы) методологическое разнообразие (дизайн эксперимента, риск смещений) Планируйте свою стратегию в своем протоколе Определите ограниченное число важных факторов, которые будете исследовать Имейте научное обоснование для каждого выбранного фактора Декларируйте любые апостериорные исследования

27 cochrane training Доступны два метода Анализ по подгруппам Группируйте исследования по предопределенным факторам Ищите различия в результатах и гетерогенность Мета-регрессия Проверьте взаимодействие между категориальными и непрерывными переменными Не доступно в RevManе

28 cochrane training Соблюдайте осторожность Результаты наблюдения (обсервационные), а не из рандомизированных исследований Настороженно относитесь к множественным и апостериорным сравнениям Может быть бесполезным при небольшом числе исследований Можете не справиться с анализом агрегированных данных Ищите вмешивающиеся факторы Следуйте плану, точно указанному в протоколе, не уделяя особого внимания отдельным находкам Результаты редко однозначны

29 cochrane training Интерпретация анализа по подгруппам Рассмотрите результаты и гетерогенность в подгруппах Действительно ли подгруппы разные? Если только 2 подгруппы – перекрываются ли доверительные интервалы? Статистические тесты подгрупповых различий Можете быть более уверены: Предварительный анализ Анализ внутри исследования Эффект клинически правдоподобен и подтверждается косвенными доказательствами Эффект клинически значим и изменит рекомендации

30 cochrane training Подгруппы участников Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No.: CD DOI: / CD pub3.

31 cochrane training Подгруппы вмешательств Based on Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: CD DOI: / CD pub3.

32 cochrane training Анализ чувствительности Не то же самое, что и анализ по подгруппам Проверяет влияние решений, принятых в ходе обзора Включение исследований в обзор Определение низкого риска смещений Выбор меры эффекта Предположения об отсутствующих данных Пороговая точка для дихотомической ранговой шкалы Корреляционные коэффициенты Повторите анализ, используя альтернативный метод или предположение Не представляйте множество лессовидных диаграмм – представьте только результаты Если разница минимальна, можете быть более уверены в выводах Если разница большая, интерпретируйте результаты с осторожностью

33 cochrane training Что включить в ваш протокол Оценка гетерогенности Оценку сравнимости исследований до мета-анализа Визуальную проверку и использование таких методов статистики как I 2 Синтез данных Модель фиксированных эффектов и случайных эффектов (или обе) Анализы по подгруппам и изучение гетерогенности Запланированные анализы в подгруппах Любые другие стратегии для изучения гетерогенности

34 cochrane training

35 Мысль, чтобы взять с собой домой Статистическая гетерогенность – это наличие различий между оцененными эффектами вмешательств, в большей степени, чем ожидалось в связи со случайной вариацией (выборочного исследования) самой по себе Она может быть вызвана клиническим и методологическим разнообразием Модели фиксированных и случайных эффектов делают разные предположения о гетерогенности Изучайте любую гетерогенность, которую вы найдете

36 cochrane training Ссылки Благодарности Составлено Мирандой Кампстон (Miranda Cumpston) На основе материалов Джорджия Саланти (Georgia Salanti), Джулиан Хиггинс (Julian Higgins), Стефф Льюис (Steff Lewis), Кокрейновской Группы по Статистическим Методам, Австралоазиатского Кокрейновского Центра и Голландского Кокрейновского Центра Перевод на русский язык: Алия Ф. Сафина и Лилия Е. Зиганшина, Казанский федеральный университет Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version [updated March 2011]. The Cochrane Collaboration, Available from