Учреждение российской академии наук Институт общей генетики им. Н.И. Вавилова РАН Введение в мета-анализ А.В. Рубанович Копию презентации можно скачать на сайте ИОГен:

Мета-анализ: количественное исследование исследований Мета-анализ придумали (точнее переоткрыли) врачи! Клинические испытания метода или препарата Много противоречивых публикаций; эффекты, как правило, статистически незначимы типичная ситуация: Много больниц, но в каждом исследовании мало больных Coxen, 1970 Smith, 1981 Hunter, 1982 Schmidt, 1982 Jackson, 1982 Rosenthal, 1984 p=0.04 p=0.07 p=0.20 Обратный эффект Обратный эффект p=0.12 p=0.09 p=0.05 Как подсчитать баланс значимых и незначимых эффектов? Что можно сказать о значимости и средней величине эффекта? Gene Glass, 1976

Карл (Charles) Пирсон (1857 – 1936) 1903 – первое мета-исследование: связь между прививками и смертностью от брюшного тифа среди солдат Британской армии в Индии и Африке p, r, 2 11 исследований эффективности вакцины против тифа: Вывод Пирсона: корреляции слишком низкие, а их изменчивость слишком велика, чтобы рекомендовать использовать вакцину для профилактики тифа у британских солдат. 5 исследований заболеваемости тифом (r = 0.23) 6 исследований смертности у заболевших (r = 0.19) Через 90 лет этот вывод будет пересмотрен

Например, пусть в 3 исследованиях: Простое правило объединения достоверностей результатов n экспериментов (1924): Сэр Рональд Айлмер Фишер ( ) Тогда: -2ln(0.061)-2ln(0.003)-2ln(0.020)= df =2·3=6 df Слабые результаты могут свидетельствовать о высокой значимости! Но как оценить величину среднего эффекта? p 1 =0.061 p 2 =0.033 p 3 =0.020 Объединенное р = Непривычная логика: одна работа с p=0.001 менее значима, чем 10 работ с p=0.1 p=0.0008

Так или иначе, для оценки «среднего эффекта» необходимо объединить выборки из различных исследований При объединении гетерогенных выборок возможно все! Эффект может: Появиться Исчезнуть Приобрести противоположное направление! Чем чревато объединение выборок? Парадокс Симпсона Осторожно, страты! У студентов РУДН 70% высоко полиморфных SNP «ассоциированы» с успеваемостью (p

Парадокс Симпсона (1951) 5 мальчиков 5 девочек МехматПоступили 3 из 4 (75%)Поступили 1 из 1 (100%) БиофакПоступили 0 из 1 (0%)Поступили 1 из 4 (25%) Всего3 из 5 (60%)2 из 5 (40%) < < > 10 выпускников (5 мальчиков и 5 девочек) поступают в МГУ: Первые сообщения о парадоксе: Карл Пирсон (1899), Джордж Юле (1903) Мальчики поступали хуже девочек Мальчики поступали лучше девочек! Осторожно, страты!

Это не статистка! Это геометрия … Опыт 1 (контроль) Опыт 1 (больные) Опыт 2 (больные) Опыт 2 (контроль) Число лиц с эффектом Объем выборки 0 Опыты 1+2 (больные) Опыты 1+2 (контроль) Наклон равен частоте лиц с наблюдаемым эффектом (в данном случае 3/100) В обоих экспериментах среди больных частота лиц с эффектом выше, чем в контроле Объединяем данные двух экспериментов… После слияния выборок частота лиц с эффектом в контроле выше! Осторожно, страты!

Парадокс Симпсона при объединении количественных данных Октябрь Сентябрь Август Температура в комнате, о С Расход энергии, кВт/день 025 Температура на даче в зависимости от расхода электроэнергии Отрицательная корреляция между температурой и расходом энергии! Осторожно, страты! Признак-конфаундер – время года

Контрольная группа 100 Нет аберраций Экспонированная группа аберраций Сравнение двух групп по частотам аберраций # людей# метафаз# аберрацийЧастота Контроль Экспонированные Осторожно, страты! «1 из 100» против «0 из 100»: p=0.5 (one-tailed Fisher) «6 на » против «0 на » Сравнение индивидуальных частот аберраций по тесту Манна-Уитни : p=0.317 Анализируем по 100 метафаз на человека Многие исследователи, определяя групповую частоту аберраций, складывают все аберрации в группе и делят на общее число просмотренных метафаз По частоте людей с аберрациями: По частоте аберраций: При одинаковом числе просмотренных метафаз значимость отличий зависит только от числа аберраций: 0 от 5 1 от 7 2 от : p=0.014 (one-tailed Fisher)

Слияние выборок недопустимо. Усреднять данные из различных публикаций надо «с весами», которые должны быть пропорциональны объемам выборок. Принципы мета-анализа (Glass&Cohen, 70-s) Эффекты, полученные в различных исследованиях необходимо стандартизировать таким образом, чтобы их можно было сравнивать друг с другом. META Inverse variance method (Glass, 1976): META Стандартизированный эффект ES Концепция «Effect Size» (Cohen, 1970) F=3.7 p=0.07 x 1 / x 0 =2 t=2.03 p=0.043 x 0 =2.6 x 1 =4.2 p=0.023 В публикациях, как правило, первичные данные недоступны, а эффекты охарактеризованы различными статистическими показателями

Стандартизация эффектов в случае количественных признаков Опубликованные данныеES Классификация Кохена (1970) ЭффектESЗначимость Маленький0.2Едва значимые отличия при N>200 Средний0.5Значимые отличия при N>32 Большой0.8Значимые отличия даже при N=12 t-статистика F-статистика (однофакторный дисперсионный анализ) Стандартное отклонение для объединенной выборки «контроль+опыт» Coxen (1970) Effect size – это разность средних в единицах стандартного отклонения Среднее гармоническое объемов выборок в опыте и в контроле Можно продолжить, но это справочный материал!

Стандартизированный эффект не зависит от объема выборки Эффект 4/ 256=0.25 2/ 64= / 16= 0.25 ОпытNt-статистикар На самом деле эффекты одинаковы! Исследования препаратов отличаются по количеству человек и уровню значимости. Какой препарат лучше? Номер исследования или, например, препарата Например, эффекты одинаковы, если выборка (2) является частью выборки (1)

Стандартизированный эффект (ES) сильно зависит от разброса данных КонтрольОпыт N0N0 s0s0 N1N1 s1s x s 0+1 ES Обычно приводят ошибки средних, и это сбивает с толку! Перейдем к стандартным отклонениям, домножая на Все не совсем так, как мы ожидали! В этом опыте эффект оказался минимальным w ES w Сумма: К каком из экспериментов эффект по универсальной шкале (ES) выше? …за счет очень высокой изменчивости данных Максимальный эффект за счет маленького разброса данных

Представление результатов мета-анализа: Forest plot Размер точки пропорционален объему выборки Effect size Номер опыта или название исследования Эффекты с доверительными интервалами Среднее значение эффекта Нулевой эффект

делим одно на другое, и получаем Шанс (odd) Частота (доля) Без эффектаС эффектом Контроль ab Опыт cd Сравнение опыта (p 1 ) с контролем (p 0 ) : Карточный термин: вероятность выиграть к вероятности проиграть Отношение шансов (Odd Ratio) Отношение рисков (Risk Ratio) Перемножаем так, Таблица сопряженности 2 OR RR при p 0, p 1 < 0.1 Здоровые-больные Контроль-облученные Европейцы-азиаты Частота мутаций Носительство генотипа Смертность Сравнение групп по частотам событий (эффектов) Вычисление OR: Стандартизированный эффект (ES) для качественных (дихотомических) признаков Частоты# выборки N0=a+bN0=a+b N1=c+dN1=c+d Шансы и этак, OR=RR=1 - нет эффекта OR, RR >> 1 или OR, RR

FAQ: почему OR, а не RR ? ВыжилиПогибли Частота гибели Частота выживания Контроль Опыт По смертности: отношение рисков RR = 0.05/0.01=5 По выживаемости: отношение рисков RR = 0.99/0.95=1.04 Отношение шансов в любом случае равно OR = 5 99/95 1 =5.21

Молодые Больные50 из 150 (33.3%) Здоровые1 из 51 (2%) OR=25 Повышенное давление у больных диабетом: Пожилые 50 из 51 (98%) 100 из 150 (66.7%) Все вместе 100 из 201 (49.8%) 101 из 201 (49.8%) OR=25OR=0.98 Парадокс Симпсона при использовании OR + OR=25 OR=0.98 !!! Если бы мы игнорировали стратификацию по возрасту, то обнаружили, что у здоровых повышенное давление бывает чаще, чем у диабетиков Осторожно, страты!

Как усреднить OR и избежать парадокса Симпсона? Оценка Mantel & Haenszel (1959) Одно исследование Несколько исследований META Молодые ПожилыеВсе вместе Больные 50 из 150 (33.3%) 50 из 51 (98%) 100 из 201 (49.8%) Здоровые 1 из 51 (2%) 100 из 150 (66.7%) 101 из 201 (49.8%) OR=25 OR=0.98 Для предыдущего примера: Оценка Мантеля-Гензеля ab cd

Подытожим: эффекты и веса для усреднений Признак в мета-анализеESw Количественный признак: x 1 (опыт) против x 0 (контроль) Качественный признак: p 1 (опыт) против p 0 (контроль) OR Это все считает программа. Важно лишь понимать, что w ~ N т. е. вес ~ численности Оценки справедливы только, если данные однородны! Но точку ставить рано!

Если I 2 < 50%, то совокупность данных однородна, а наблюдаемые различия эффектов случайны (связаны с выборочной вариансой) В нашем примере Q=1.05 при df=2, p=0.59 КонтрольОпыт N0N0 s0s0 N1N1 s1s ES w Q-статистика или «межвыборочная» варианса эффекта или Cochrane Q-test Распределена как 2 с df=k-1 (k = #выборок). Выборки однородны при р > 0.1 (не 0.05!) I 2 - доля изменчивости, обусловленная неоднородностью выборок. При I 2 > 50% выборки считаются гетерогенными Меры гетерогенности совокупности выборок Что делать, если выборки гетерогенны по эффектам? Проверка однородности данных в мета-анализе

Модели с фиксированными и случайными эффектами Все, что мы обсуждали до сих пор – это мета-анализ в рамках т.н. «модели с фиксированными эффектами» Для всех работ эффекты одинаковы. Различия случайны В различных исследованиях могут быть разные эффекты. Распределение эффектов по исследованиям. 2 I 2 > 50% I 2 < 25% В модели со случайными эффектами все формулы остаются в силе, только меняются «веса» : Неоднородность DerSimonian and Laird (1986) OR 1 Модель с фиксированным эффектом ES Модель со случайным эффектом Forest plot Компьютерные программы обычно считают обе оценки – для «fixed model» и для «random model»

Компьютерные программы для мета-анализа: обязательный набор вычислений Выбор типа и ввод данных: количественные или качественные Вычисление среднего эффекта, ошибки и значимости для модели с фиксированными эффектами Проверка гетерогенности: вычисление Q, I 2 Вычисление среднего эффекта для модели со случайными эффектами Нет Да Random effects: DerSimonian-Laird Fixed effects: Mantel-Haenszel Binary or numerical (continues)? Measures of heterogeneity: Q and I-squared, Надписи в опциях программы

Soft для вычисления OR и проведения мета-исследований Качественные и количественные признаки. Фиксированные и случайные эффекты Графика (forest plot, funnel plot) WinPepi Portal (2010) Free! MetaAnalyst (2009) Free! Огромное разнообразие современных тестов. Ежегодные обновления. Качественные и количественные признаки. Фиксированные и случайные эффекты Без графиков. MetaWin, Comprehensive MA, EasyMA Commercial Коммерческие программы с удивительно подлыми демо-версиями

Вычисление OR для совокупности выборок Значимость гетерогенности выборок Вводим таблицу сопряженности 2х2 Ввод следующей выборки Больше похоже на калькулятор!

ИсследованиеOR 95% CI Hospital staffs Ladysmith Garrison Methuens column Single regiments Army in India Ревизия результатов К. Пирсона (1903) I 2 = 95.3% 50% p = p = Сильная гетерогенность! Эффективность прививок против тифа Фиксированный эффект Случайный эффект Прививки в раза снижают заболеваемость тифом! Южноафриканские гарнизоны

Почему мета-анализ приобрел такую популярность за последние 20 лет? Ассоциативные исследования генетической предрасположенности. Доступность PCR-генотипирования и быстрое развитие методов полногеномного сканирования (GWAS) Накопление однотипных публикаций по социально значимым проблемам: - диагностика и терапия широко распространенных заболеваний; - медицинские и социальные последствия вредных привычек; - анализ устойчивых догм в гуманитарных науках; Слабые эффекты трудно выявить в отдельном исследовании: - эффекты малых доз облучения; - влияние электромагнитных полей; - вред использования ГМО В самом конце ХХ века идеология мета-анализа подверглась серьезному испытанию

Скандал вокруг «Rind contraversy» American Psychological Association (APA) Научный журналист Dr. Laura Schlessinger (выступление в ТВ-шоу): «Meta-analysis is a meaningless technique that involves putting a bunch of questionable findings together. I had never heard of a real scientist using this method. This is a junk science at its worst!» Rind, B., Tromovitch, P., Bauserman, R. A meta-analytic examination of assumed properties of child sexual abuse using college samples. Psychological Bulletin, (1998). Мета-исследование последствий CSA (Child Sexual Abuse) Мета-анализ 59 исследований результатов опросов студентов колледжей: частота/брутальность CSA и последствия (18 психопатологических показателей) 11% девушек и 37% юношей заявили о положительных последствиях CSA 2-летний скандал: протесты католических организаций, более 100 осуждающих публикаций, покаяние APA, рассмотрение в обеих палатах Конгресса США Никогда не слышала, чтобы серьезные ученые использовали этот метод бессмысленная техника Провокация удалась! мусорная наука Вывод: корреляции незначимы ( )! Критика со стороны специалистов по мета-анализу: сборник «Misinformation concerning child sexual abuse» (2001) Неправильное использование ES и статистические ошибки Rind и Bauserman ранее публиковались в нелегальном немецком журнале «Paidika», в котором регулярно пропагандировалась толерантность к педофилии Опросами охвачены лишь достаточно успешные молодые люди

Почему мета-анализ приобрел такую популярность за последние 20 лет? Ассоциативные исследования генетической предрасположенности. Доступность PCR-генотипирования и быстрое развитие методов полногеномного сканирования (GWAS) Накопление однотипных публикаций по социально значимым проблемам: - диагностика и терапия широко распространенных заболеваний; - медицинские и социальные последствия вредных привычек; - анализ устойчивых догм в гуманитарных науках; Слабые эффекты трудно выявить в отдельном исследовании: - эффекты малых доз облучения; - влияние электромагнитных полей; - вред использования ГМО

Мета-анализ опасностей, связанных с использованием мобильных телефонов Mobile Phone Use and Risk of Tumors: A Meta-Analysis Seung-Kwon Myung et al. Journal of Clinical Oncology (2009) Из 465 публикаций отобраны 23 исследования типа case-control: больных (опухоли мозга) и здоровых Общий баланс по всем работам: Больные, использующие мобильные телефоны, против здоровых, не использующих мобильные телефоны OR=0.98 (95%CI= ) по модели со случайными эффектами Существенная неоднородность данных: 8 работ – небольшой значимый отрицательный эффект 15 работ – небольшой значимый положительный (протективный) эффект Длительное и активное использование мобильных телефонов (более 10 лет): 13 работ – небольшой значимый отрицательный эффект OR=1.18 (95%CI= ) Незримый признак-конфаундер? Например, социальная активность

Мета-анализ рисков детской лейкемии при проживании вблизи высоковольтных линий (ELF-EMF) Незначимо! Эффект «winner's curse» - характерная особенность эпидемиологических и ассоциативных исследований

Ген детоксикации ксенобиотиков Делеция (18 Кб) в гомозиготном состоянии у 50% Загадочный GSTM1 Делеция ассоциирована с предрасположенностью с широко распространенными заболеваниями … и часто с пониженной частотой аберраций!

Chromosomal aberrations under basal conditions and after treatment with X-ray in human lymphocytes as related to the GSTM1 genotype B. Karahalil, S. Sardas, et al. Mut. Res., 515 (2002) Аберрации, индуцированные 1 Гр: GSTM1 0/0 > GSTM1 + Assessment of individual sensitivity to ionizing radiation and DNA repair efficiency in a healthy population F. Marcona, C. Andreoli, et al. Mut. Res., 541 (2003) Аберрации, индуцированные 2 Гр: GSTM1 0/0 < GSTM1 +

Мета-анализ частот цитогенетических нарушений для «нулевых» и «положительных» генотипов по GSTM1 14 работ 22 выборки Гетерогенность I 2 = 10,6% Среднее значение FR=1,03 0,02 Аберрации хромосом, МЯ, СХО Повышенная частота цитогенетических нарушений для «положительных» генотипов по GSTM1 по сравнению с «нулевыми» недостоверна: р=0,11 (Z-тест для гипотезы FR=1 ) В 14 случаях из 22: GSTM1 0/0 < GSTM1+

Почему мета-анализ приобрел такую популярность за последние 20 лет? Ассоциативные исследования генетической предрасположенности. Доступность PCR-генотипирования и быстрое развитие методов полногеномного сканирования (GWAS) Накопление однотипных публикаций по социально значимым проблемам: - диагностика и терапия широко распространенных заболеваний; - медицинские и социальные последствия вредных привычек; - анализ устойчивых догм в гуманитарных науках; Слабые эффекты трудно выявить в отдельном исследовании: - эффекты малых доз облучения; - влияние электромагнитных полей; - вред использования ГМО

Реальный пример мета-анализа: ассоциативные исследования полиморфизма гена CCR5 у ВИЧ-инфицированных Мутация CCR5- 32 : делеция 32 п.н. (Хр. 2), обнаружена у здоровых лиц, практикующих незащищенный секс с ВИЧ-инфицированными (N. Samson et. al., Nature, 1996) Поверхность Т-лимфоцита / : сильная защита от заражения ВИЧ и оспой w/ : задержка развития СПИДа (на 2 года) Частота встречаемости делеции CCR5- 32 Северная Европа14-17% Южная Европа 4-8% Африка, Азия 0% Хемокиновый рецептор CCR5 (ко-рецептор к рецептору CD4) 10-25% европейцев гетерозиготны по делеции 32. Обеспечена ли им хотя бы частичная защита от ВИЧ-инфицирования?

Частота гетерозигот по CCR5- 32 среди защищенных от ВИЧ-инфицирования (по данным 18 авторов) Если ассоциации нет, то случаи «больше-меньше» должны появляться с вероятностью ½ Только в 3 выборках из 18 частота гетерозигот w/ у ВИЧ + выше, чем у ВИЧ - Вероятность выпадения 3 (и менее) орлов в 18 бросаниях монеты равна Если это принять за 4-ое превышение, то р=0.015 Монета достоверно несимметрична! Гетерозиготы w/ чаще встречаются среди ВИЧ - Но какое OR? Публикации собраны студентом А. Залесовым (МФТИ), рук. С.А. Боринская (ИОГен РАН)

CCR5- 32 with WinPepi: результаты Мета-анализORRR = p + / p - p = p - - p + Unadjusted оценка (по всем данным) Mantel-Haenszel оценка0.867 (1.15) %-довер. интервал DerSimonian-Laird оценка I 2, % Значимость гетерогенности (р) Итоговая значимость различий (Fishers two-tailed) Протективное действие гетерозиготы w/ CCR5 достоверно, но не велико: OR=1.15 Модель с фиксированными эффектами Модель со случайными эффектами Гетерогенность не значима. Оценки для обеих моделей совпадают Слияние всех выборок без мета-анализа

Forest plot: влияние гетрозиготности по делеции 32 на риск ВИЧ-инфицирования (OR 95%CI) Среднее для модели с фиксированными эффектами …совпадает со средним для модели со случайными эффектами

Факторы, приводящие к ошибкам в мета-анализе Selection bias – смещение оценок за счет необъективного подбора работ, несоответствия контроля опыту Winner's curse – в первой публикации эффекты обычно сильно завышены Publication bias – смещение оценок за счет того, что работы со значимыми эффектами чаще публикуют

Funnel plot Funnel plot: график – воронка Зависимость «эффект - объем выборки» Большие выборки – всегда публикуют Большие эффекты, маленькие выборки – охотно публикуют Маленькие эффекты, маленькие выборки – часто не публикуют! Publication bias : положительные результаты публикуют чаще, чем отрицательные (нулевые) Результат авторских предрассудков и редакторских предпочтений Как выявить «publication bias» в совокупности работ, охваченных мета-анализом? Несимметричный вид графика «funnel plot» - завышенный средний эффект! CCR5- 32 funnel plot Асимметрия незначима!

Эффект «winner's curse» «проклятие победителей» - аукционный термин В первых публикациях эффекты всегда завышены 20 исследователей занимались важной проблемой: 1 - получил сильный положительный эффект и опубликовал свои данные (1/20=0.05) 19 - получили нулевые или слегка значимые результаты и ничего не публиковали На публикацию решается автор, который получает высокую значимость. SNP Discovery: 1854 cases/1894 controls Replication: 3268 cases/3354 controls OR95%CIOR95%CI rs rs rs rs rs rs Ассоциативные исследования рака простаты (GWAS) > Потеря значимости Многие исследователи при мета-анализе отбрасывают первую публикацию, особенно, если она сильно влияет на однородность Последующие реплики: эффект есть, но ниже, чем в первой публикации Eeles et al., Nat. Gen., 2008

Мета-мета-анализ РейтингГенБелок Ассоциации в мета- анализе Публикации 1ACE Ангиотензин MTHFR Метил-тетра-гидро-фолат редуктаза APOE Аполипротенин Е GSTM1 Глутатион-S-трансфераза DRD3 Рецептор дофамина D3 365 По данным 50 мета-анализов генетической предрасположенности к широко распространенным заболеваниям (J. Ioannidis; 2007, 2009) Кардиоваскулярные заболевания – 10 Цереброваскулярные заболевания – 3 Шизофрения – 7 Деменция – 4 Диабет – 3 Раки -7 Рейтинг полиморфизмов по количеству значимых ассоциаций в исследованиях генетической предрасположенности к широко распространенным заболеваниям

«Мета-анализ» осваивается за 40 мин! Для его практического применения не нужно читать все эти толстые книги

Копию презентации можно скачать на сайте ИОГен: Всем спасибо, Мета-анализ – лучшее завершение всякого литобзора! Мета-анализ – это последнее средство для ответа на «проклятые вопросы»! Ищите страты! Неоднородная выборка – источник фальшивых открытий и упущенных возможностей! Проводите мета-исследования! Пока их охотно публикуют! Мета-анализ – это очень просто! и несколько заключительных лозунгов:

Распределение выборочных значений OR Частота, % 3000 компьютерных симуляций вычисления OR: Группа здоровых (100) - частота маркера 0.1 Группа больных (100) - частота маркера 0.2 OR Истинное значение OR=2.25 В этот «бокс с усами» попадает 50% значений OR Среднее значение OR=2.92 Вычисленная в эксперименте оценка OR в среднем на 30% выше истинного значения! сильно несимметрично