1 « В новый век – с доказательной биомедициной!» Возможности и практика применения статистических методов для экспериментальной биомедицины Доктор технических наук, профессор Дарманян Анатолий Петрович

2 Практика студентов кафедры «Биофизика» МГУ им.М.В.Ломоносова на Белом море( 1967 г.)

3 Гален (Galen) « Эмпирики говорят, что нечто не может быть ни принято, ни расценено как истинное, если оно замечено однократно или если оно было замечено только несколько раз. Они полагают, что нечто может быть принято и считаться верным, только если это было замечено очень много раз и каждый раз в том же самом виде» On Medical Experience. 11-столетие н.э.

4 По вине медиков в год в России гибнут 50 тыс. чел.(Л ига защиты пациентов); в ДТП– 30 тыс.чел.(Росстат) ЗАДАЧИ ПРЕЗЕНТАЦИИ: 1.Анализ публикаций с применением статистических методов. 2.Практика наиболее используемых статистических методов. 3.Ошибки при интерпретации результатов исследований. 4.Научная значимость некоторых малоиспользуемых статистических методов.

5 А.Н.Мамаев д.м.н.,зав.отделением Алтайского филиала ГНЦ РАМН (2011г.) «Неправильное применение методов математической статистики в медицине на сегодняшний день в России приобретает характер эпидемии, поскольку ошибки исследователей при анализе медицинских данных можно встретить повсеместно и число их неуклонно растет»

6 Леонов В.П. Анализ публикаций по экспериментальной биомедицине (

7

8 Результаты анализа публикаций 1.Использование стат.методов: 82% в R- статьях и 87% в E-статьях. 2.Использование описательной статистики и t-критерия (ч.50-85%) среди 53-х методов и критериев!!! 3.В 52% R-статей нет описания использованных методов и точного значения уровня достоверности «р». 4.Отсутствие проверки условий применимости критериев и методов. 5.Неверная интерпретация результатов исследования

9 Лингвистические экспонаты «кунсткамеры» сатириков публикаций по медицинской статистике « Мемы » - абсурдные и бессмысленные выражения, заимствованные из других работ. « Гитики » - неверные статистические аргументы. Президент издательства «МедиаСфера »: «Статистике в биомедицинских исследованиях отводится роль «гитик», звучные и непонятные авторам термины нужны для достижения основной цели - придание работе научного «веса», достаточного для защиты диссертации». Леонов В.П. (фрагмент критики докторской диссертации): «Использование дискретных, номинальных признаков для проведения ФА подобно тому, как если бы провести операцию сложения кислого с круглым, далее с зелёным, и затем вычесть из полученной суммы гинеколога, а результат умножить на физику»

10 Статистические методы 1.Описательная статистика 2.Анализ взаимосвязей (корреляционный анализ) 3.Регрессионный анализ 4.Анализ временных рядов 5.Анализ выживаемости 6.Принцип Парето (ABC анализ )

11 Значения медицинского показателя до и после лечения

12 1.Описательная статистика (R- ч. 82%) Mean – среднее арифметическое Ассиметрия (скошенность ), эксцесс (пикообразность ) распределения Медиана разбивает выборку на две равные части ( 50 -й процентиль); 25-й и 75-й процентили (квартили) Мода – наиболее часто встречающееся значение в выборке +SE – стандартная ошибка среднего Дисперсия S 2 – среднее значение квадратов отклонений значений показателя от среднего значения СО –стандартное отклонение S 1,96*SE (ДИ) – доверительный интервал показывает, что с вероятностью 0,95 показатель X будет находиться в интервале значений X+1,96*SE. Коэффициент вариации (%) – отношение стандартного отклонения к среднему значению CV=СО/X *100% - воспроизводимость метода исследования (сравнение разных методик). CV>10% -плохая воспроизводимость метода иссл-я Размах – самое большое и самое малое значение

13 Показатели описательной статистики (Excel) НормаДо лечения После лечения. Среднее30,5936,5234,24 Стандартная ошибка0,671,121,11 Медиана30,5036,00 Мода31,00 36,00 Стандартное отклонение3,815,145,07 Дисперсия выборки14,5126,4625,69 Эксцесс0,18-0,630,32 Асимметричность0,080,40-0,79 Интервал18,0019,0020,00 Минимум22,0028,0022,00 Максимум40,0047,0042,00 Сумма Счет3221 CV (коэфф.вариации)12%14%15% Дов. интервал (+1,96SE)1,32,2

14 Ящичковая диаграмма Тьюки («ящик с усами»-«вне отечественной традиции»)

15 Доктор L.Brown (1941г.) «Затруднения в медицине исходят не от статистического метода, а от медицинских работников (и работниц), которые не знают, как его использовать….Не поймите меня неправильно. Это не аргумент в пользу сухих статистических статей, которые все мы не читаем. Но если я смогу заставить вас увидеть, насколько важно для нас прекратить использовать любимую фразу «мой личный опыт» кроме тех случаев, когда у нас есть достаточно данных, чтобы подтвердить ее, я буду считать, что достиг того, на что я надеялся»

16 Типичные ошибки интерпретации результатов исследований Уровень значимости р t-критерия равен вероятности ошибочно отвергнуть гипотезу о равенстве средних двух выборок. Приняли, что р

17 Проверка гипотез о равенстве средних t-критерием (R-ч. 58%; Е-ч.8%) Требования для применения t-критерия. 1.Нормальное распределение показателя 2.Равенство дисперсий сравниваемых совокупностей Практика: В выборке из 200-х публикаций в % реальных данных нормальное распределение не выполняется! (Леонов В.П.) В 2500 биомед. массивов данных только в 8% было нормальное распределение (г.Тарту) Непараметрические методы (R- ч. 2 %), т.е. в 48-68% публикациях неверные выводы!

18 Нормальное распределение - фундаментальный закон природы Мировая практика: нормальное распределение 20-25% !!!

19 Проверка на нормальность(R-ч.0,06 %) Визуальный метод График вероятности Критерий Колмогорова-Смирнова. Если K-S d> 0,0895, распределение не соответствует нормальному на уровне значимости 0,05. Критерий Шапиро-Уилка Совпадение значений моды и медианы Равенство нулю показателей асимметрии и эксцесса (таблицы критических значений для заданной выборки)

20 Проверка на нормальность с помощью графика вероятности

21 Пример невыполнения нормального распределения (до лечения)

22 Пример невыполнения нормального распределения (после лечения)

23 Пример нормального распределения ( Результаты голосования в г.Москве 4 марта 2012г.)

24 Статистическая «Развлекуха» или «чуровское распределение»

25 Графики медицинского показателя

26 Гистограмма медицинского показателя до и после лечения (пример отсутствия нормального распределения)

27 Выявление различий показателей в группе до и после лечения (связанные выборки) Пример 1: Значение медианы в группе до лечения = 36,5ед.; а после лечения = 34,2ед. Параметрический способ: t-тест: p=0,108 Различие незначимо. Эффекта лечения нет. Непараметрический метод сравнения 2-х связанных выборок с помощью критерия Вилкоксона (R-ч. 0,7%): W=57. Критическое значение (для n=20) Wкр.=53. Так как W > Wкр., принимается гипотеза о наличии различий между значениями показателя в группе (до лечения) и (после лечения), т.е. выявлено влияние выбранного метода на результат лечения!

28 Выявление эффекта от лечения в 2 -х группах (несвязанные выборки) Пример 2: Значение медианы в 1-ой группе (лек-во 1) - 29,6ед.; во 2-ой группе (лек-во 2) - 35,9ед. Параметрический способ: t-тест (p=0,13). Различие незначимо. Разницы в эффективности лекарств нет. Непараметрический критерий Манна-Уитни для сравнения 2-х несвязанных выборок (R-ч. 2%): U=66. Критическое значение Uкр.=70 (для n1=17 и n2=13). Так как U < Uкр., принимается гипотеза о наличии различий между двумя выборками, т.е. выявлена разница в эффективности от использования двух лекарств!

29 Вместо заключения о медицинской описательной статистике Все результаты и выводы в статьях, отчетах и диссертациях, полученные на основе данных описательной статистики с использованием параметрических методов (среднее, СО,ДИ и t-тесты) в группах больных не верны ввиду отсутствия нормального распределения данных для многих медицинских показателей!!!

30 Использование непараметрических критериев Сравниваемые показатели КритерийЗначение критерия Резуль- тат Вывод РасчетКрит. значение До лечения –после лечения W-критерийТ=109(n=19)T>Wкр.Статистически значимо. Лекарство (метод) эффективно До лечения –после лечения W-критерийТ=2325(n=14)TUкрСтатистически не значимо. Нет разницы между методами лечения. Группа 1 – Группа 2 Манна- Уитни U=1618(12,8)U

31 2. Анализ связей и корреляций (R-ч. 8%) K.Peаrson (1901г.) - обработка биомедицинских данных 1. Взаимосвязь качественных переменных – критерий Пирсона хи-квадрат (R-ч. 7 %) 2. Взаимосвязь количественных переменных –критерий корреляции Пирсона r ( R-ч. 8%) Принято считать, «что при r 0,75 – сильная». Коэффициент детерминации: R=r 2 –доля изменения Y, вызванная изменением X. Пример: Если r=0,75, то R=0,56. Cильная связь?

32 Критерий Пирсона «Хи-квадрат». Таблица сопряженности 2х2 (R-ч.7%; E-ч.19%) Варианты лечения ЛечениеКоличество больных с показателем Всего больных «Хи» квадрат ЕстьНет 1Лекарство ,11 (3,84) Лекарство Вывод: 7,11 > 3,84 (крит.) Различие лекарств 1 и 2 стат. значимо. 2Метод ,09 (3,84) Метод Вывод: 0,09 < 3,84 (крит.) Различие методов 1 и 2 стат. не значимо.

33 Пример «умеренной» связи показателей

34 Корреляционная матрица биохимических показателей до лечения АЛТАСТ Bi общХол-н О.бело к три г Моч- на Ами л-аЩФTi креа- н АЛТ1,00 АСТ0,651,00 Bi общ-0,21-0,301,00 Холестерин0,300,280,151,00 О.белок-0,51-0,430,25-0,011,00 триг0,700,590,060,64-0,411,00 Мочевина0,610,64-0,340,36-0,670,721,00 Амилаза-0,170,14-0,32-0,070,18-0,26-0,301,00 ЩФ0,560,500,040,47-0,450,81 -0,351,00 Ti-0,05-0,040,36-0,060,08-0,19-0,22-0,390,011,00 креатинин 0,760,68-0,280,40-0,620,810,94-0,280,85-0,211,00

35 Корреляционная матрица биохимических показателей после лечения АЛТ АСТBi общХол-нО.белоктригМоч-на Ам- ф ЩФTiкреа-н АЛТ1,00 АСТ 0,78 1,00 Bi общ-0,100,091,00 Холестерин0,06-0,16-0,061,00 О.белок+0,400,36-0,01-0,171,00 триг -0,07 -0,230,39 0,64 -0,501,00 Мочевина -0,09 -0,190,270,62-0,580,751,00 Амилаза-0,160,24-0,05-0,12-0,07-0,28-0,081,00 ЩФ0,210,100,160,24-0,050,320,45-0,191,00 Ti0,150,41-0,12-0,09-0,050,13-0,080,37-0,131,00 креатинин -0,09 -0,150,330,62-0,590,770,94-0,090,30-0,021,00

36 Краткие научные выводы: 1.Измерена теснота связи между различными медицинскими показателями до и после лечения (слабая, умеренная, сильная). 2.Выявлена тесная и умеренная связь между отдельными показателями. 3.Обнаружено изменение тесноты связи (критерий r) и ковариации (+r) между показателями до и после лечения. Вопрос для науки: В чем причина произошедших изменений?

37 3.Регрессионный анализ ( R - ч. 4%)

38 Парная регрессионная зависимость между медицинскими показателями

39 Парная регрессия после верификации (искл. одной точки)

40 У Стоимость строительства 1 кв.м.жильяруб. X1 Высокий уровень налогов% X2 Неплатежеспособность заказчиков% X3 Высокая стоимость материалов% X4 Недостаток заказов% X5 Конкуренция% X6 Недостаток квалиф. рабочих% X7 Изношенность оборудования% X8 Высокий процент кредита% X9 Цена строительства 1 кв.мруб. X10 Средняя зарплата населения в России руб./ месяц X11 Уровень инфляции% X12 Ставка рефинансирования% X13 Стоимость электричестваруб./кВт.ч

41 YX1X2X3X4X5X6X7X8X9X10X11X12 Y 1,000 X1 - 0,9191,000 X2 - 0,9240,9881,000 X3 - 0,6970,8410,8371,000 X4 - 0,8750,8290,7930,7681,000 X5 0, , , , ,3601,000 X6 0, , , , ,4670,9581,000 X7 - 0,8000,9010,8810,6470, , ,8091,000 X8 - 0,6440,8360,8310,5970, , ,8300,9271,000 X9 0, , , , ,6740,4670, , ,3621,000 X100, , , , ,8680,7220, , ,7130,8281,000 X11 - 0,8850,9440,9570,6970, , ,8700,9580, , ,9201,000 X12 - 0,8910,9290,9370,7560, , ,8310,9350, , ,9190,9621,000

42 Стоимость строительства кв.м жилья в России

43 Результаты прогнозирования Год Стоимость строительства 1 кв.м. жилья, (руб.) Данные Росстата Эконометрический прогноз с помощью модели регрессии (без инфляции)

44 4. Анализ временных рядов (R-ч.0,1%; E-ч.3%) (наличие сезонной компоненты)

45 Прогнозные значения показателя с доверительным интервалом

46 Потребление пива в России (данные Росстата)

47 Динамика заболевания алкоголизмом и наркоманией в России (данные Росстата)

48 5. Анализ выживаемости - оценка эффективности лечения (R-ч.0,3%;Е-ч.9%) Оценка вероятности пережить пациенту произвольный интервал времени, измеренный от даты стартового до мониторируемого события. Мониторируемое событие – рецидив, ремиссия заболевания, летальный исход и т.д. Стартовое событие – начало лечения, оперативное вмешательство, поступление в реанимацию (в клинику) и т.д.

49 Градация участников исследования

50 Таблица времен жизни Стартовое событиеСмерть (выбытие)Инф.ВозрастМед. показа -тель ДеньМесяцГодДеньМесяцГод 106январь0821январь08Ценз.541,11 202май0805май08Ценз.401,66 331август0817май10Полная511,32 426октябрь0807июль11Полная540, ноябрь0829август09Полная540,87

51 Функция риска Число смертей/число доживших

52 Kaplan-Meier product-limit method Кривая Каплана-Мейера - частота выживания больных раком в двух группах (R-ч.0,3%; E-ч.9% )

53 Доказательный вывод: Хирургическое лечение более эффективное для продления жизни по сравнению с медикоментозным лечением Медиана времени выживания составила 6,3 года для группы хирургического лечения и 3,8 года для группы медикоментозного лечения. Лог-ранговый критерий выявил статистически значимое различие по частоте выживания с течением времени (р

54 6. Правило Парето (правило «20 на 80») (ч.0,01%) « За большинство возможных результатов отвечает относительно небольшое число причин». Научно-методический центр по обеспечению качественной медицинской помощи ЦНИИ ОИЗ Доллары США Процен т Издержки, первый квартал

55 Диаграмма Парето

56 Jean-Etienne D.Esquirol (французский психиатр, 1838г.) « Думали ли они, что науки, основанные на наблюдении, могут стимулироваться только статистикой?...Если бы медицина не пренебрегла этим инструментом, это означало бы прогресс, она обладала бы большим числом реальных истин, стала бы менее подверженной обвинению в том, что является наукой нетвердых принципов, неуловимых и предположительных»

57 ПРИЧИНЫ СТАТИСТИЧЕСКИХ ОШИБОК В ПУБЛИКАЦИЯХ ПО БИОМЕДИЦИНЕ В.П.Леонов ( ) 1.Низкая статистическая культура исследователей + бедность литературы 2.Отсутствие в структурах биомедицинских НИИ и вузов специализированных лабораторий и кафедр биостатистики. 3.Отсутствие отраслевой нормативной базы (отраслевые стандарты, стандарты предприятий и т.п.), регламентирующей этап статистического анализа. 4.Отсутствие квалифицированной статистической экспертизы в редакциях журналов, в диссертационных и экспертных советах ВАК

58 XVII век, Голландия Или: « Врач изучает колбу с мочой, принесённою молодой женщиной» Или: Статистические методы MS Excel + StatPlus SPSS STATISTICA 6.0

59 Предложения (Или что делать?) 1. Курс лекций «Основы медицинской статистики» для слушателей послевузовского образования. 2. Планирование биомедицинского исследования. 3. «Статистическое» рецензирование результатов биомедицинских исследований для отчетов, публикаций и диссертаций

60 Рекомендации исследователям 1.Шире применяйте различные статистические методы 2.Правильно применяйте статистические методы и критерии. 3.Знайте, любые биомедицинские данные можно статистически обработать. 4.Проводите многократные расчеты статистических показателей и цензурирование биомедицинских данных. 5.Корректно выполняйте интерпретацию результатов статистических расчетов 6.Помните, кроме вас самих никто не сможет сделать правильные научные выводы по результатам исследования!

61