Институт общей генетики им. Н.И. Вавилова РАН Введение в байесовский анализ А.В. Рубанович rubanovich@vigg.ru. - презентация

1 Институт общей генетики им. Н.И. Вавилова РАН Введение в байесовский анализ А.В. Рубанович

2 Кто боится Томаса Байеса?

3 Похороны P-value?

4 Из истории эпидемиологических исследований: вещи, которые вызывают рак (Altman, Simon, JNCI, 1992) И, конечно, мобильные телефоны – наше время! Исследования, времен распространения приборов Электробритвы Холодильники Флуоресцентные светильники Переломы рук (у женщин) Аллергия Содержание певчих птиц Хот-доги Разведение северных оленей Профессия - официант Высокий рост Маленький рост ЛЭП

5 Из истории эпидемиологических исследований: мифы об AB0 (1917 – 1960 – и по сей день) У субъектов с А более тяжелое похмелье У субъектов с 0 более здоровые зубы Военные с 0 слабохарактерны, а с B более импульсивны Субъекты с B более склонны к преступлениям Аллель 0 более древняя и поэтому ее носители – охотники и мясоеды. Аллель A моложе, ее носители – фермеры и вегетарианцы У субъектов с А более высокий IQ Люди с группой В чаще испражняются Между AB0 и пищеварением – сильная связь: для каждой группы своя диета Никита Хромов-Борисов, СПбГМУ

6 95% результатов эпидемиологических и ассоциативных генетических исследований никогда не воспроизводятся

7 Основные причины ложных заключений в эпидемиологических и биомедицинских исследованиях Вера в 5% или «синдром статистической снисходительности» Проклятие победителя (winner's curse) и публикационный сдвиг Множественность сравнений: кошмар Бонферрони Слабые, но «высокозначимые» эффекты в больших выборках: кто боится Томаса Байеса? Сопоставление неоднородных выборок: страты и парадокс Симпсона Сквозь «призму p-value»…

8 Астрагалы, V тыс. лет до н.э. Бросок Венеры – 5% Традиционный подход к ответу на вопрос: случайно ли то, что мы наблюдаем? р-value «серая зона» неопределенности Н0Н0 Н1Н1 Н 0 – гипотеза об отсутствии различий: наблюдаемый эффект обусловлен случайными причинами H 1 – альтернативная гипотеза: эффект есть, наблюдаемые различия неслучайны Со времен астрагалов: события с вероятностью менее 5% принято считать «маловероятными» «Механистическая дихотомия и сакральные 5% повсеместно процветают. Невзирая на 40 лет критики» Резкая граница? С какой стати? - ? При сравнении выборок формируем: Далее по совокупности данных вычисляем р т.е., т.н. «р-value»

9 Чем является и чем не является р-value S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008) Малость р-value не гарантирует высокую вероятность получить аналогичные результаты в повторном эксперименте р-value P(H 0 ), т.е. это не есть вероятность нулевой гипотезы об отсутствии различий

10 Free! Программа LePrep: Гарантирует ли низкое p-value воспроизводимость результатов? n 1 + n 2 -2p-value Вероятность наблюдать ту же направленность эффектов в повторном эксперименте Вероятность наблюдать те же эффекты с уровнем p-value < 0.05 p-value Вероятность значимых эффектов (p < 0.05) в повторном опыте При p-value из «серой зоны» таких гарантий нет!

11 Чем является и чем не является р-value S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008) Малость р-value не гарантирует высокую вероятностью получить аналогичные результаты в повторном эксперименте р-value P(H 0 ), т.е. это не есть вероятность нулевой гипотезы об отсутствии различий Одним словом, р-value – это условная вероятность, но совсем не того, чего нужно! р-value P(H 0 | data), т.е. это не есть вероятность нулевой гипотезы при данном раскладе данных р-value = P(data | H 0 ) Ситуация сходна с «case - control»: мы меряем частоту маркера у больных, но хотели бы знать частоту больных среди носителей маркера T – тестовая «статистика» (t, 2, F и т.п.). При H 0 ее распределение всегда известно: T T data р-value т.е. это вероятность наблюдаемого (или еще более «крутого») расклада данных при условии отсутствия различий Как конвертировать P(data | H 0 ) P(H 0 | data) ? Все наоборот! Почувствуйте разницу: р-value = P(T > T data | H 0 ), точнее и data T data

12 Условные вероятности в картинках Доля богатых среди умных Доля умных среди богатых > Умные P( | ) Формула перехода Байеса P( | ) = P( ) P( | ) P( ) P( & ) P( ) P( & ) P( ) Богатые & r(, ) - статистически значимая корреляция Обманчивая простота!

13 Формула Байеса преподносит неожиданности! Пусть детектор лжи не ошибается в 90% случаев, а популяционная частота прирожденных лжецов – 10%. Какова вероятность того, что выявленный детектором лжец, действительно является лжецом? P(Да|Лжец) = P(Нет|Честный) = 0.9; P(Лжец) = 0.1 Дано: P(Лжец|Да) Найти: P(Да|Лжец)P(Лжец) P(Да) == = Более серьезный пример – маммогра`фия: P(Да|Рак) = 0.8; P(Нет|Здоровая) = 0.9; P(Рак) = 0.01 (РМЖ после 40 лет) P(Рак|Да) P(Да|Лжец)P(Лжец) + P(Да|Честный)P(Честный) P(Да|Лжец)P(Лжец) == Показания прибора: Да - Нет 90%? Нет! Это вероятность, того заведомый лжец будет уличен прибором P(Да & Лжец) P(Да & Честный)

14 может быть еще ниже! может быть мала, но при этом…. p-value = Н 0 – гипотеза об отсутствии различий: наблюдаемый эффект обусловлен случайными причинами H 1 – альтернативная гипотеза: эффект есть, наблюдаемые различия неслучайны При сравнении выборок формируем: Формула Байеса преподносит неожиданности! Более того! может быть мала, но это не гарантирует p-value = и, тем более, малость малость

15 Фактор Байеса как альтернатива p-value BF Свидетельство в пользу гипотезы H 1 против гипотезы H 0 > 100Убедительное 30 – 100Очень сильное 10 – 30Сильное 3 – 10Умеренное 1 – 3Слабое < 1Против H 1 Байесов фактор: во сколько раз чаще наши данные более вероятны при H 1, чем при H 0 Интерпретация: Ясно, что если BF 1, то говорить о значимости эффектов невозможно

16 Байесовская революция ( …) Альтернативная статистика Преподобный Томас Байес ( ) Bunhill Fields Burial Ground off City Road, EC1

17 Байесовская ревизия: 272 эпидемиологические работы с формально значимыми результатами «серая зона» J.P. Ioannidies, 2008, Am J Epidemiol; 168, BF p-value Все результаты с p-value не проходят по критерию BF > 3 Байесовский анализ подтверждает значимость эффектов BF < 1! Это зона справедливости результатов с «точностью до наоборот»

18 Как это делается: байесов фактор on line Результаты после нажатия: Ввод данных, например, 1 из 100 против 8 из 100 p-value Байесов фактор, точнее 1/BF 1/0.367 = 2.72 < 3

19 Как это делается: байесов фактор on line Ввод данных: 1 из 100 против 10 из 100 Результаты после нажатия: Байесов фактор, точнее 1/BF 1/0.104 = 9.62 p-value

20 Итак: 1 из 100 против 8 из 100: p = 0.017; BF = 2.7 < 3 1 из 100 против 10 из 100: p = 0.005; BF = 9.6 слабая значимость эффекта сильная значимость эффекта Может быть байесовский подход просто «более строг»? (для значимости требуются значительно меньшие р-value, чем 0.05 ) Исследуем ситуацию …

21 Ситуация, типичная для эпидемиологии (или для ассоциативных исследований «case-control») p-valueBF против 5 np-valueBF против n-5n-5n 101 n-10n-1 Среди больных – 5 носителей маркера Среди контрольных лиц – 0 носителей маркера n n Рассмотрим случай равных по объему выборок Результаты классического и байесовского анализа расходятся: BF < 1, хотя p-value = ~ BF убывает, как n -1/2 Табл. сопряженности 2 х 2 p-value почти не зависит от n 0 из 50 против 5 из 50: принимаем Н 1

22 Осторожно: большие выборки! p-valueBF против 5 np-valueBF против 10 При очень больших выборках ( n 1/p 2 ) возможны ситуации, когда BF < 1 Грубо говоря,, где n - объем выборки.

23 Осторожно: большие выборки! Высокая значимость отличий частот редких событий может быть обманчивой Пример Контроль: 250 случаев из (частота 0,25%) Экспонированные: 5 случаев из 500 (частота 1%) Относительный риск: RR = 4 Классический подход 2 по Пирсону: p-value = с поправкой Йитса : p-value = Байесов фактор: BF = < 1, т.е. данные более вероятны при условии отсутствия различий Байесовский подход

24 Как это посчитать самостоятельно? Байесов фактор для таблицы 2 х 2 D M ab cd Здоровые Больные Носители маркера Свободны от маркера E D ab cd Здоровые Больные Экспони- рованные Контроль Частота больных среди экспонированных такая же, как и в контроле Частота носителей маркера среди больных такая же, как среди здоровых ЭпидемиологияCase - control где В(a,b) – т.н. бета-функция

25 Байесов фактор для таблицы 2 х 2 Вычисления в байесовском анализе всегда громоздки! Вероятно поэтому все началось лишь в 90-е годы где В(a,b) – т.н. бета-функция Вычисление бета-функции Г(x) = EXP(ГАММАНЛОГ(x)) В Excel: On line: И все-таки: откуда берутся все эти жутковатые формулы?

26 Байесов фактор в простейшем случае (броски монеты) data = последовательность ООРО…ОР, скажем k «орлов» в n бросках nk p-value ( 2 ) BF Здесь - усреднение по всем равновероятным значениям р р f(р)f(р) Результаты классического и байесовского анализа расходятся: BF < 1, хотя p-value = случая, когда частота k/n = 0.46 близка к 0.5 Находим отношение Принимаем Н 0 Принимаем Н 1 Н 0 : р = 1/2 Н 1 : р 1/2 «Честная» монета «Нечестная» монета А теперь представьте, что это соотношение полов

27 Байесовские оценки Пусть data = выборка объема n, содержащая k мутаций. Что считать оценкой частоты мутаций ( )? Странный вопрос… Классический (частотный) подход: Байесовский подход: (формула Лапласа) Ход вычислений: Здесь - усреднение по всем равновероятным значениям р р f(р)f(р) Байесовский вывод о значимости эффектов может отличаться от частотного в случае больших выборок Байесовская оценка частоты отличается от частотной в случае малых выборок

28 Байесовские оценки Байесовские оценки лучше частотных при малых n, а также при наличии нулей в таблицах сопряженности E D a0 cd Здоровые Больные Экспони- рованные Контроль В контрольной выборке больных не было Отношение шансов:

29 Больше, чем статистика Классическая теория вероятности Р(исхода в испытании) = Общее число испытаний Число исходов Но серию испытаний можно провести далеко не всегда! Например, как оценить вероятность того, что … Человечество погибнет от метеоритной атаки Христос не умел читать Гомер был женщиной Байесовский подход Вероятность – это степень доверия и мера нашего незнания «Коэффициент перехода» от априорного знания к апостериорному

30 Байесовское мышление Нас интересует не P(data | H 0 ) (это фактически p-value), а P(H 0 | data) - вероятность отсутствия различий после наблюдения данного расклада данных. После опыта До опыта Шанс (odd) события А = Вероятность выиграть к вероятности проиграть Введем понятие «шанс»: Апостериорный шанс гипотезы H 1 Априорный шанс гипотезы H 1 BF =. Тогда:

31 5 поводов вспомнить о Томасе Байесе Значения p-value из «серой» зоны: 0.01 – 0.05 Высокая значимость отличий частот редких событий Если Вы никогда до конца не понимали, что такое p-value BF – Байесов фактор, имеет простой и ясный смысл: во сколько раз наблюдаемые данные более вероятны при наличии различий, чем при отсутствии оных Очень часто именно при таких p-value Байесов фактор BF ~ 1 (или даже < 1), т.е. данные могут наблюдаться, как при нулевой, так и при альтернативной гипотезе Большие объемы выборок При больших выборках, возможны ситуации, когда BF < 1, хотя p-value < 0.01 Малые объемы выборок Оценка частоты p = (k+1)/(n+2) лучше, чем p = k/n Например сравнение «1% vs 0.25%» (относительный риск = 4) может давать BF = 0.8 при p-value = (например, расклад «5 из 500» против «250 из »)

32 Эту и другие мои лекции можно найти на сайте vigg.ru Слайды доступны всем! Всем спасибо!