Учреждение российской академии наук Институт общей генетики им. Н.И. Вавилова РАН Введение в мета-анализ А.В. Рубанович Копию презентации можно скачать на сайте ИОГен:

Мета-анализ: количественное «исследование исследований» Мета-анализ придумали (точнее переоткрыли) врачи! Клинические испытания метода или препарата Много противоречивых публикаций; эффекты, как правило, статистически незначимы типичная ситуация: Много больниц, но в каждом исследовании мало больных Smith, 1981 Hunter, 1982 Schmidt, 1982 Jackson, 1982 Rosenthal, 1984 p=0.04 p=0.07 p=0.20 Обратный эффект Обратный эффект p=0.12 p=0.09 p=0.05 Как подсчитать баланс значимых и незначимых эффектов? Что можно сказать о значимости и средней величине эффекта? Gene Glass, 1976

Так или иначе, для оценки «среднего эффекта» необходимо объединить выборки из различных исследований При объединение гетерогенных выборок возможно все! Эффект может: Появиться Исчезнуть Приобрести противоположное направление! Чем чревато объединение выборок? Осторожно, страты! 10% SNP «ассоциированы» с цветом кожи, т.е. с расовой принадлежностью Парадокс Симпсона

Парадокс Симпсона (1951) 5 мальчиков 5 девочек МехматПоступили 3 из 4 (75%)Поступили 1 из 1 (100%) БиофакПоступили 0 из 1 (0%)Поступили 1 из 4 (25%) Всего3 из 5 (60%)2 из 5 (40%) < < > 10 выпускников (5 мальчиков и 5 девочек) поступают в МГУ: Первые сообщения о парадоксе: Карл Пирсон (1899), Джордж Юле (1903) Мальчики поступали хуже девочек Мальчики поступали лучше девочек! Осторожно, страты!

Это не статистка! Это геометрия … Опыт 1 (контроль) Опыт 1 (больные) Опыт 2 (больные) Опыт 2 (контроль) Число лиц с эффектом Объем выборки 0 Опыты 1+2 (больные) Опыты 1+2 (контроль) Наклон равен частоте лиц с наблюдаемым эффектом (в данном случае 3/100) В обоих экспериментах среди больных частота лиц с эффектом выше, чем в контроле Объединяем данные двух экспериментов… После слияния выборок частота лиц с эффектом в контроле выше! Осторожно, страты!

Парадокс Симпсона при объединение количественных данных Октябрь Сентябрь Июль Температура в комнате, о С Расход энергии, кВт/день 025 Температура на даче в зависимости от расхода электроэнергии Отрицательная корреляция между температурой и расходом энергии! Осторожно, страты! Признак-конфаундер – время года

Слияние выборок недопустимо. Усреднять данные из различных публикаций надо «с весами», которые должны быть пропорциональны объемам выборок. Принципы мета-анализа (Glass&Cohen, 70-s) Эффекты, полученные в различных исследованиях необходимо стандартизировать таким образом, чтобы их можно было сравнивать друг с другом. META Inverse variance method (Glass, 1976): ES не зависел от N META Эффект Стандартизированный эффект ES : Effect Size (Cohen, 1970) Главное, чтобы

– среднее гармоническое объемов выборок в опыте (N 1 ) и в контроле (N 0 ) Эффект 4/ 256=0.25 2/ 64= / 16= 0.25 ОпытNt-статистикар Как сравнивать эффекты, если выборки существенно различаются по объему? На самом деле эффекты одинаковы! Статистика t всегда Исследования препаратов отличаются по количеству человек и уровню значимости. Какой препарат лучше? Номер исследования или, например, препарата Например, эффекты одинаковы, если выборка (2) является частью выборки (1) Среднее арифметическое Среднее геометрическое Среднее гармоническое

Стандартизированный эффект (ES) для количественных признаков Стандартное отклонение для объединенной выборки «контроль+опыт» ЭффектESЗначимость Маленький0.2Едва значимые отличия при N>200 Средний0.5Значимые отличия при N>32 Большой0.8Значимые отличия даже при N=12 КонтрольОпыт N0N0 s0s0 N1N1 s1s x s 0+1 ES Обычно приводят ошибки средних, и это сбивает с толку! Перейдем к стандартным отклонениям, домножая на К каком эксперименте эффект по универсальной шкале (ES) выше? Все не совсем так, как мы ожидали! В этом опыте эффект оказался минимальным Cohen (1970):

Стандартизированный эффект (ES) для количественных признаков ЭффектESЗначимость Маленький0.2Едва значимые отличия при N>200 Средний0.5Значимые отличия при N>32 Большой0.8Значимые отличия даже при N=12 КонтрольОпыт N0N0 s0s0 N1N1 s1s x s 0+1 ES META

x s 0+1 ES w ES w Сумма: Стандартизированный эффект (ES) для количественных признаков META ЭффектESЗначимость Маленький0.2Едва значимые отличия при N>200 Средний0.5Значимые отличия при N>32 Большой0.8Значимые отличия даже при N=12 Ничего этого знать не нужно! Простые общедоступные программы все посчитают Но для этого надо понимать концепцию!

Представление результатов мета-анализа: Forest plot Размер точки пропорционален объему выборки Effect size Номер опыта или название исследования Эффекты с доверительными интервалами Среднее значение эффекта Нулевой эффект

Проверка однородности данных Если I < 50%, то совокупность данных однородна, а наблюдаемые различия эффектов случайны (связаны с выборочной вариансой) В нашем примере Q=1.05 при df=2, p=0.59 КонтрольОпыт N0N0 s0s0 N1N1 s1s ES w Q-статистика или «межвыборочная» варианса эффекта или Cochrane Q-test Распределена как 2 с df=k-1 (k = #выборок). Выборки однородны при р > 0.1 (не 0.05!) I 2 - доля изменчивости, обусловленная неоднородностью выборок. При I > 50% выборки считаются гетерогенными Меры гетерогенности совокупности выборок Что делать, если выборки гетерогенны по эффектам?

Модели с фиксированными и случайными эффектами Все, что мы обсуждали до сих пор – это мета-анализ в рамках т.н. «модели с фиксированными эффектами» Для всех работ эффекты одинаковы. Различия случайны В различных исследованиях могут быть разные эффекты. Распределение эффектов по исследованиям. 2 I 2 > 50% I 2 < 25% В модели со случайными эффектами все формулы остаются в силе, только меняются «веса» : Неоднородность DerSimonian and Laird (1986) OR 1 Модель с фиксированным эффектом ES Модель со случайным эффектом Forest plot Компьютерные программы обычно считают обе оценки – для «fixed model» и для «random model»

Компьютерные программы для мета-анализа: обязательный набор вычислений Выбор типа и ввод данных: количественные или качественные Вычисление среднего эффекта, ошибки и значимости для модели с фиксированными эффектами Проверка гетерогенности: вычисление Q, I 2 Вычисление среднего эффекта для модели со случайными эффектами Нет Да Random effects: DerSimonian-Laird Fixed effects: Mantel-Haenszel Binary or numerical (continues)? Measures of heterogeneity: Q and I-squared, Надписи в опциях программы

Почему мета-анализ приобрел такую популярность за последние 20 лет? Ассоциативные исследования генетической предрасположенности. Доступность PCR-генотипирования и быстрое развитие методов полногеномного сканирования (GWAS) Накопление однотипных публикаций по социально значимым проблемам: - диагностика и терапия широко распространенных заболеваний; - медицинские и социальные последствия вредных привычек; - анализ устойчивых догм в гуманитарных науках; Слабые эффекты трудно выявить в отдельном исследовании: - эффекты малых доз облучения; - влияние электромагнитных полей; - вред использования ГМО В конце ХХ века идеология мета-анализа подверглась серьезному испытанию

Почему мета-анализ приобрел такую популярность за последние 20 лет? Ассоциативные исследования генетической предрасположенности. Доступность PCR-генотипирования и быстрое развитие методов полногеномного сканирования (GWAS) Накопление однотипных публикаций по социально значимым проблемам: - диагностика и терапия широко распространенных заболеваний; - медицинские и социальные последствия вредных привычек; - анализ устойчивых догм в гуманитарных науках; Слабые эффекты трудно выявить в отдельном исследовании: - эффекты малых доз облучения; - влияние электромагнитных полей; - вред использования ГМО

Мета-анализ опасностей, связанных с использованием мобильных телефонов Mobile Phone Use and Risk of Tumors: A Meta-Analysis Seung-Kwon Myung et al. Journal of Clinical Oncology (2009) Из 465 публикаций отобраны 23 исследования типа case-control: больных (опухоли мозга) и здоровых Общий баланс по всем работам: Больные, использующие мобильные телефоны, против здоровых, не использующие мобильные телефоны OR=0.98 (95%CI= ) по модели со случайными эффектами Существенная неоднородность данных: 8 работ – небольшой значимый отрицательный эффект 15 работ – небольшой значимый положительный (протективный) эффект Длительное и активное использование мобильных телефонов (более 10 лет): 13 работ – небольшой значимый отрицательный эффект OR=1.18 (95%CI= ) Незримый признак-конфаундер? Например, социальная активность

Почему мета-анализ приобрел такую популярность за последние 20 лет? Ассоциативные исследования генетической предрасположенности. Доступность PCR-генотипирования и быстрое развитие методов полногеномного сканирования (GWAS) Накопление однотипных публикаций по социально значимым проблемам: - диагностика и терапия широко распространенных заболеваний; - медицинские и социальные последствия вредных привычек; - анализ устойчивых догм в гуманитарных науках; Слабые эффекты трудно выявить в отдельном исследовании: - эффекты малых доз облучения; - влияние электромагнитных полей; - вред использования ГМО

Реальный пример мета-анализа: ассоциативные исследования полиморфизма гена CCR5 у ВИЧ-инфецированных Мутация CCR5- 32 : делеция 32 п.н. (Хр. 2), обнаружена у здоровых лиц, практикующих незащищенный секс с ВИЧ-инфецированными (N. Samson et. al., Nature, 1996) Поверхность Т-лимфоцита / : сильная защита от заражения ВИЧ и оспой w/ : задержка развития СПИДа (на 2 года) Частота встречаемости делеции CCR5- 32 Северная Европа14-17% Южная Европа 4-8% Африка, Азия 0% Пониженная частота CCR5- 32 в пределах границ Римской Империи? Хемокиновый рецептор CCR5 (ко-рецептор к рецептору CD4) 10-25% европейцев гетерозиготны по делеции 32. Обеспечена ли им хотя бы частичная защита от ВИЧ-инфецирования?

Частота гетерозигот по CCR5- 32 среди защищенных от ВИЧ-инфецирования (по данным 18 авторов) Если ассоциации нет, то случаи «больше-меньше» должны появляться с вероятностью ½ Только в 3 выборках из 18 частота гетерозигот w/ у ВИЧ + выше, чем у ВИЧ - Вероятность выпадения 3 (и менее) орлов в 18 бросаниях монеты равна Если это принять за 4-ое превышение, то р=0.015 Монета достоверно несимметрична! Гетерозиготы w/ чаще встречаются среди ВИЧ - Но какое OR? Публикации собраны студентом А. Залесовым (МФТИ), рук. С.А. Боринская (ИОГен РАН)

CCR5- 32 with WinPepi: результаты Мета-анализORRR = p + / p - p = p - - p + Unadjusted оценка (по всем данным) Mantel-Haenszel оценка0.867 (1.15) %-довер. интервал DerSimonian-Laird оценка I 2, % Значимость гетерогенности (р) Итоговая значимость различий (Fishers two-tailed) Протективное действие гетерозиготы w/ CCR5 достоверно, но не велико: OR=1.15 Слияние всех выборок без мета-анализа Модель с фиксированными эффектами Модель со случайными эффектами эффектами Гетерогенность не значима. Оценки для обеих моделей совпадают

Forest plot: влияние гетрозиготности по делеции 32 на риск ВИЧ-инфецирования (OR 95%CI) Среднее для модели с фиксированными эффектами Совпадает со средним для модели со случайными эффектами

Funnel plot Funnel plot: график – воронка Зависимость «эффект - объем выборки» Большие выборки – всегда публикуют Большие эффекты, маленькие выборки – охотно публикуют Маленькие эффекты, маленькие выборки – часто не публикуют! Publication bias : положительные результаты публикуют чаще, чем отрицательные (нулевые) Результат авторских предрассудков и редакторских предпочтений Как выявить «publication bias» в совокупности работ, охваченных мета-анализом? Несимметричный вид графика «funnel plot» - завышенный средний эффект! CCR5- 32 funnel plot Асимметрия незначима!

Эффект «winner's curse» «проклятие победителей» - аукционный термин В первых публикациях эффекты всегда завышены 20 исследователей занимались важной проблемой: 1 - получил сильный положительный эффект и опубликовал свои данные (1/20=0.05) 19 - получили нулевые или слегка значимые результаты и ничего не публиковали На публикацию решается автор, который получает высокую значимость. SNP Discovery: 1854 cases/1894 controls Replication: 3268 cases/3354 controls OR95%CIOR95%CI rs rs rs rs rs rs Ассоциативные исследования рака простаты (GWAS) > Потеря значимости Многие исследователи при мета-анализе отбрасывают первую публикацию, особенно, если она сильно влияет на однородность Последующие реплики: эффект есть, но ниже, чем в первой публикации Eeles et al., Nat. Gen., 2008

Распределение выборочных значений OR Частота, % 3000 компьютерных симуляций вычисления OR: Группа здоровых (100) - частота маркера 0.1 Группа больных (100) - частота маркера 0.2 OR Истинное значение OR=2.25 В этот «бокс с усами» попадает 50% значений OR Среднее значение OR=2.92 Вычисленная в эксперименте оценка OR в среднем на 30% выше истинного значения! сильно несимметрично

Мета-мета-анализ РейтингГенБелок Ассоциации в мета- анализе Публикации 1ACE Ангиотензин MTHFR Метил-тетра-гидро-фолат редуктаза APOE Аполипротенин Е GSTM1 Глутатион-S-трансфераза DRD3 Рецептор дофамина D3 365 По данным 50 мета-анализов генетической предрасположенности к широко распространенным заболеваниям (J. Ioannidis; 2007, 2009) Кардиоваскулярные заболевания – 10 Цреброваскулярные заболевания – 3 Шизофрения – 7 Деменция – 4 Диабет – 3 Раки -7 Рейтинг полиморфизмов по количеству значимых ассоциаций в исследованиях генетической предрасположенности к широко распространенным заболеваниям

«Мета-анализ» осваивается за 40 мин! Для его практического применения не нужно читать все эти толстые книги

Копию презентации можно скачать на сайте ИОГен: Мета-анализ – лучшее украшение всякого литобзора! Мета-анализ – это последнее средство для ответа на «проклятые вопросы»! Ищите страты! Неоднородная выборка – источник фальшивых открытий и упущенных возможностей! Проводите мета-исследования! Пока их охотно публикуют! Мета-анализ – это очень просто! и несколько заключительных лозунгов: