Типы исследований и их задачи в сфере ВИЧ/СПИД М. Варбан, А. Довбах

Процесс Результаты Влияние Уровни мониторинга и оценки Типы исследований по пирамиде результатов МиО Вклад - Оценка затрат - Анализ стоимости услуг Мониторинг процесса (количественны й по количеству тренингов, розданных материалов, оценка качества) Показатели охвата Операцион ные исследовани я Последствия Результат Изменения знания и поведения – мониторинг поведения Эпидемиоло гические показатели

Основные типы исследований Эпидемиологические Мониторинг поведения Специальные исследования Операционные исследования Оценка затрат Оценочные исследования(assesment), oценка программ (evaluation)

Эпидемиологические исследования Задачи: описание/прояснение эпидемической ситуации; определение влияния программ Рутинный эпидмониторинг Дозорный эпиднадзор Специальные эпидемиологические исследования (когортные, ретроспективный анализ, сбор данных по отдельным категориям)

Мониторинг поведения Задачи: оценка уровня распространения рисковых форм поведения среди уязвимых групп, оценка последствий программ Опрос уязвимых групп с целью мониторинга поведения Мониторинг поведения связанный с эпиднадзором

Специальные исследования Задачи: изучение специфических аспектов и проблем ответа на эпидемию и целевых групп - Опросы для оценки численности суб-популяций, - качество охвата отдельными программами (школьными, отдельными видами консультирования)

Операционные исследования Задачи: предоставление исполнителям программ необходимой информации об улучшении, расширении/дальнейшем планировании таких программ. Исследование на уровне результата/результативности процесса выполнения программ

Оценка затрат/определение стоимости Задачи: оценить затраты на выполнение специфических услуг в ответе на эпидемию или в целом всех затрат на национальном/региональном уровне - Национальные счета здравоохранения - Оценка национальных затрат на ВИЧ/СПИД

Оценочные исследования(assesment), oценка программ (evaluation) Задачи: проведение оценки реализации отдельных проектов и программ. Предполагает использование всех возможных источников информации. Оценка ситуации перед началом выполнения программ Оценка с привлечением к участию, оценка программ, проектов

Особенности операционных исследований М. Варбан, А. Довбах

Терминологическая путаница Операционное исследование/оценка интервенций Interventions studies Formative studies Cost effectiveness studies Diagnostic studies Operational/operations research Implementation research Evaluation studies Field implementation studies Field interventions studies

Операционные исследования - Исследование, позволяющее предоставить исполнителям программ необходимую информации об улучшении, расширении/дальнейшем планировании таких программ(A.Fisher, J. Foreit) - Исследование факторов, находящихся под контролем менеджеров программ (The Population council, Inc)

Цель операционного исследования Повышение эффективности, экономности и качества услуг, а также их доступности, удобности и приемлемости (availability, accessibility, acceptability) для пользователей (A.Fisher, J. Foreit) Помощь в выборе между разными вариантами использования ресурсов для выполнения специфических задач программы (The Population council, Inc)

Operational/ operations research Implementation research/ Interventions research Formative studies Diagnostic studies Field implementation studies Interventions studies Cost effectiveness studies Evaluation studies

Роль в программном цикле Формативное/базовое исследование Промежуточная оценка Анализ внедрения инноваций/подходов

Место ОР в проектом цикле Внедрение проектов и программ Програмный мониторинг ЧТО ЕСТЬ? Промежуточная оценка ЧТО НЕ ПОЛУЧАЕТСЯ? Операционное исследование ЧТО И КАК ИЗМЕНИТЬ? Планирование и перепланирование программы

ОР обеспечивают программы доказательной базой Поддержка программ эмпирической доказательностью Возникают на сравнении «лучших практик» Тестируют инновации в предоставлении услуг

Інновації або досвід Програмне рішення ЩО САМЕ ВПРОВАДЖУЄМО? Методичне рішення ЯК САМО ВПРОВАДЖУЄМО? Управлінське рішення ХТО, ДЕ І ЗА ЯКІ КОШТИ ВПРОВАДЖУЄ? Операційне дослідження

Исследовательский фокус Факторы, контролируемые менеджерами Результаты, необходимые клиентам и менеджерам Независимые переменные: то, чем могут управлять менеджеры программы Зависимые переменные: результаты программ (outcomes)

Управленческий контроль Факторы под контролем Системы реализации программ – тренинги, цены, информация, консультирование Факторы, которые менеджер не контролирует Культурные нормы и представления, пространство, религия, экономический статус, образование

ОР сфокусированы на целях программ Доступ: доступность услуг географически, экономически и административно Эффективность: максимум результатов от данного уровня обеспечения ресурсами Качество: соответствие потребностям и компетентность услуг Влияние: улучшение здоровья

Категории ОР Формативное/диагностическое исследование Формативное/диагностическое исследование Проблема неизвестна Проблема неизвестна Направлено на определение параметров программы в самом начале Направлено на определение параметров программы в самом начале Ретроспективное и крос-секционное Ретроспективное и крос-секционное Исследование полевых интервенций: Исследование полевых интервенций: Программный подход неизвестен Программный подход неизвестен Проверяет новые подходы/ решения преодоления программных проблем Проверяет новые подходы/ решения преодоления программных проблем Исследования – перспективные, длительные, используют экспериментальные или квази-экспериментальные модели Исследования – перспективные, длительные, используют экспериментальные или квази-экспериментальные модели Оценочные исследования: Оценочные исследования: Влияние неизвестно Влияние неизвестно Программы выполняют годами, никогда не оценивают Программы выполняют годами, никогда не оценивают Исследуют в ретроспективе, кросс-секционально Исследуют в ретроспективе, кросс-секционально Исследования финансовой эффективности Исследования финансовой эффективности Стоимость и эффективность неизвестны Стоимость и эффективность неизвестны

Формативное/диагностическое исследование Описательные исследования Осуществляем, когда неизвестны причины программных проблем для того, чтобы определить, есть ли программные проблемы Предлагает возможные решения

Исследование полевых интервенций Эксперимент Исследует факторы менеджментного контроля Тестирует решения программных проблем Сравнивает альтернативы

Оценка программ Обычно описательные или ретроспективные Имеют дело как с факторами управленческого контроля, так и с теми, которые не контролируются Фокус на достижении проектных задач Может быть использован эксперимент

ОР команда Выполнение ОР необходимо сотрудничество: - Менеджеров: определяют параметры решений и необходимые последствия программ - Исследователи: рекомендуют и внедряют исследовательские техники

ОР – выбор метода определен задачей Какая информация необходима для принятия решения? Когда решение будет приниматься? Как много мы можем потратить? Необходимая точность данных? (риск неверных решений) Успех ОР – принятие решений

Этапы планирования, осуществления и использования результатов ОР М. Варбан, А. Довбах Для презентации использованы материалы семинара Operational Research for Managers of Reproductive Health Programs, проведенные The Population Council, Inc

Этапы в процессе ОР Определение проблемы Выработка стратегий/моделей решения Проверка вариантов решения проблемы/тестирование Распространение и использвание результатов

Определение проблемы ОР Всегда определяйте проблему перед разработкой интервенций Начинайте с проблем, а не с их решений

Определение проблемы OP начинается с проблемы, которую нужно решить. Программная проблема – несоответствие между наявным и желаемым результатом. Проблемы: - проблемы(не получается) - возможности (способ расширения программ)

Как определить проблему для ОР? (1) 1. Кратко опишите проблему: - проблемная ситуация - разрыв между желаемым и реальным - центральный вопрос - возможные ответы

Как определить проблему для ОР? (2) 2. Проанализируйте концепты и переменные: - Какова распространенность проблемы? - Какая территория и группы населения поражены проблемой? - Каковы находки других исследований? - Что было сделано для решения этой проблемы? Насколько успешными были эти подходы? - Каковы ключевые неотвеченные вопросы?

Как определить проблему для ОР? (3) 3. Окончательно опишите проблему ОР: - проблемная ситуация - разрыв между желаемым и реальным - проблемный вопрос - возможные ответы

Является ли эта проблема исследуемой и актуальной ? Есть ли разрыв между достигнутыми и планируемыми результатами? Нужно ли мне исследование для решения проблемы? (мы не знаем причин разрыва) Мы не знаем, какое решение из существующих лучше других Эта проблема под управленческим контролем? Есть ли возможность разработать эффективные и устойчивые методы внедрения? Улучшит ли решение этой проблемы результаты, последствия, влияние и эффективность программы? Достаточно ли времени, денег и квалифицированных исследователей?

Формулировка проблемы Сможет ли (повышение, снижение, изменение) этого (взнос, процесс) улучшить (результат, последствия или влияние)? Примеры: - Сможет ли тренинг для местных медицинских работников повысить охват вакцинацией? - Сможет ли кампания в СМИ привлечь больше женщин для родов в медицинские учреждения?

Вопросы для проверки понимания Какое из приведенных предложений является сформулированной проблемой для ОР? - Необходимо исследовать стигматизацию ЛЖВС - Влияние профилактики раннего подросткового секса на уровень инфицирования ИПСШ - Сможет ли уменьшение частоты супервизий улучшить экономичность без снижения качества консультационных услуг?

Выработка стратегий/моделей решения Каждая проблема ОР должна иметь больше одного варианта решения. Иначе в исследовании нет необходимости

Признаки хорошей стратегии решения Под управленческим контролем и приемлема для сообщества Имеет потенциал существенно улучшить ситуацию в программе Эффект может быть измеренным Легко внедряется Мы можем себе это позволить Стратегия жизнеспособна

Где взять варианты решений Сотрудники программ Клиенты Сотрудники других программ Политики Обзор литературы, опыта Исследователи

Вопросы для проверки понимания Молодежные центры существуют по всей Африке. Как создать такой же у себя в стране? (Молодежный центр – это проблема или решение? Какие проблемы адресуют такие центры? Какие альтернативные стратегии можно было бы исследовать?)

Проверка вариантов решения проблемы/тестирование Дизайн исследования Выбор метода сбора данных Этика исследования Роль менеджера и исследователя в ОР Чем серьезнее то решение, которое принимается на основе исследования, тем «сильнее» должен быть его дизайн

Дизайн исследования Экспериментальный дизайн Не-экспериментальный дизайн Квази-экспериментальный дизайн Разница в использовании рандомизированного отбора и отображении причинности.

Чем эксперимент сильнее других видов дизайна Надежность данных (повторение даст тот же результат) Валидность данных (измеряют именно то, что предполагалось) Внутреннюю валидность исследования могут нарушать следующие погрешности (biases): - Погрешность отбора - История - Погрешность в связи с воздействием тестирования

Критерии отбора дизайна Этичность исследования Практические, финансовые и административные вопросы Технические вопросы (возможный ли рандомизированный отбор, возможен ли подбор похожей или стабильной группы, способ валидизации)

Экспериментальный дизайн (1) Experimental Group O1 X O2 RA Control GroupO3 O4 Дизайн до и-пост тестовая контрольная группа Равным образом отобранные группы (RA) из той же группы населения подвергаются до тестовому наблюдению (О1 и О3), потом одна из групп подвергается тестовой интервенции (Х), а тотом пост-тестовому наблюдению (О2, О4)

Экспериментальный дизайн (2) Experimental Group X O2 RA Control Group O4 Дизайн только пост тестовая контрольная группа Одна из групп равным образом отобранных (RA) из той же субпопуляции населения подвергаются тестовой интервенции (Х), потом пост-тестовому наблюдению (О1, О2). Предполагается, что перед проведением программ эти группы были одинаковы, т.к. онибыли отобраны случайным образом.

Экспериментальный дизайн (3) Experimental Group O1 X O2 RA Experimental Group O3 Y O4 Experimental Group O5 X+Y O6 Control GroupO7 O8 Дизайн с множественными воздействиями Равным образом отобранные группы (RA) из той же группы населения подвергаются до тестовому наблюдению (О1 и О3), потом несколькие из групп подвергаются различным четко описанным тестовым интервенциям(Х, Y), а потом пост-тестовому наблюдению (О2, О4)

Не экспериментальный дизайн Пост тестовый дизайн (Case study) Нет контроля валидности данных. Используется в пробном маркетинге Experimental Group X O2 До тестовый, пост-тестовый дизайн на одной группе Используется как метод оценки. Нет контроля погрешности истории и влияния тестирования. Experimental Group O1 X O2 Сравнение со статичной группой Experimental Group X O1 Comparison Group O2

Квази-экспериментальный дизайн Experimental Group O1 X O2 Control GroupO3 O4 Не эквивалентная контрольная группа Используем небольшое количество коллективных единиц, таких как больницы или классы. Нет равного отбора в группы. Контролирем исторические и тестовые погрешности, не контролируем отбор. Experimental Group O1 О2 О3 X O4 О5 О6 Серия замеров во времени Повторяющиеся замеры во времени в группе, на которую проводится воздействие без контрольной группы. Не контролирует исторические и тестовые погрешности

Упражнение для проверки понимания Прием нового лекарства против малярии может быть организовано двумя способами: 1- 3 дня госпитализации максимизирует корректный прием лекарств, но это дорого и доступно немногим 2 – лечение на дому максимизирует доступность, но повысит риск неполного курса лечения, а значит и развитие резистентности вируса

Вопрос для проверки понимания - Какой строгости дизайна требует обозначенная проблема? - Назовите независимые переменные - Обозначьте возможные зависимые переменные - Какой дизайн вы бы использовали?

Отбор методов сбора данных Опрос клиентов (анкетирование, интервью, «опрос на выходе») Экспертный опрос Фокус-группы с клиентами, социальными работниками и т.п. Наблюдение (включенное наблюдение, демонстрация, «тайный покупатель») Контент-анализ документов

Анализ методов 1- Применимость: Для чего используем? 2- Ограничения: Для чего не применим? 3- Ресурсы на организацию исследования с использованием данного метода 4- Для каких задач ОР наиболее результативен?

Этика исследований Различные типы исследования различаются по уровням оценки этическим комитетом: Исследования на людях (человек – исследуемый объект) Исследования систем общественного здравоохранения (система – исследуемый объект) – большинство ОР

Участники исследования Индивидуумы, от которых исследователь получает данные - через взаимодействие (в опросе, например) или внедрение (как в заборе крови для теста) - через идентифицируемую личную информацию (как медицинские карты или записи)

Принципы исследовательской этики Уважение к личности: добровольное и информированное согласие и защита уязвимого населения Блага: По возможности минимизировать вред и увеличить получаемые участником блага Справедливость: Соблюдать справедливость и равенство в распределении благ и выгод от исследования

Ключевые этические правила Благополучие личности – превыше всего Необходимо письменное согласие Участник волен остановить процедуру в любое время Исследование одобряется этическим комитетом Особо значимые личные данные (sensitive)защищаются

Полная оценка на этику В случае анализа или сбора: - Биологических органов - Медицинских записей - Интервью с детьми - Интервью, которые могут «спровоцировать» риск криминального преследования или социального давления - Личной особой информации

НЕ требуется этической оценки Вторичный анализ данных Исследования, использующие статистику предоставления услуг Деятельность по обеспечению качества услуг Интервью, не обозначенные в списке для полной оценки (но в любом случае они требуют информированного согласия и защиты личной информации) Большинство ОР не требуют оценки с точки зрения этики

Элементы информированного согласия Описание исследования Риски Выгоды Альтернативы Конфиденциальность Компенсация Контакты Добровольное участие Убедитесь, что данные хранятся в соответствии с этическими руководствами.

Вопросы для проверки понимания Проводится дозорный эпиднадзор среди ЖКС на ИПСШ. По номеру карточки участница сможет узнать результаты, при позитивном результате – получить бесплатное лечение. Все участницы вознаграждаются. Менеджер борделя пообещал, что все его работницы пройдут тестирование - Как обеспечить информированное согласие всех? - Если кто-то не захочет принять участие, то как защитить ее от возможного увольнения? - Если в таком случае невозможно информированное согласие, какой альтернативный подход можно порекомендовать организаторам?

Роль менеджера в проведении ОР Менеджер заказывает исследование, а значит он: - Определяет проблему или решение - Оценивает необходимость исследования - Выставляет лимиты по времени и ресурсам - Обеспечивает сотрудничество исполнителей программы - Планирует распространение результатов Постарайтесь обойтись без исследования, если здравый смысл вам подсказывает вариант решения.

Роль исследователя в проведении ОР Участие в определении проблемы Ответственность за дизайн и интегрированность исследования Мониторинг осуществления исследования Анализ результатов Участие в распространении, помощь в использовании

Использование результатов исследования Определитесь, как вы будете использовать результаты перед началом исследования

Как обеспечить использование данных Четко с самого начала определить решение, которое будет принято Адресовать результаты тому, кто это решение будет принимать Предоставить необходимую информацию до момента принятия решения

Роль менеджера в распространении результатов Определите ключевую аудиторию (предоставители услуг, министерство, доноры) Выберите удобное средство информирования (презентация, семинар, публикация) Помогите презентовать результаты, станьте соавтором статьи

Операционные исследования 2009 г. Довбах Г., Варбан М.

Протокол исследования Протокол – это детальное описание основных этапов и методологии исследования Фактически – это сценарий, алгоритм, инструкция по организации и проведению исследования

Структура протокола Введение Методология исследования Выборка исследования Организация, процедуры исследования Инструментарий исследования Анализ данных Структура отчета и политика в отношении публикаций

Анализ данных База данных Методы анализа – многомерный анализ и т.п. Включение данных качественного исследования в отчет

Составные части протокола (І) Введение Краткое описание проблемы исследования, ее актуальности и важности (обоснование выбора темы исследования) Описание данных, которые уже известны по теме исследования Описание проблем, вопросов и данных, которые требуют дополнительного изучения Потенциальные сферы использования полученных в исследовании данных

Составные части протокола (ІІ) Методология исследования Цель исследования Задачи исследования Тип/дизайн исследования Рабочие гипотезы Исследовательские вопросы География и территории исследования Целевые группы исследования (описание респондентов и их характеристик) Методы исследования Зависимые, независимые переменные, детерминанты Ограничения исследования

Цель исследования это описание прогнозированного результата, описание того, на что направлено исследование. Задачи исследования определяются поставленной целью и представляют собой конкретные последовательные этапы (пути) решения проблемы исследования по достижению цели. Рабочая гипотеза – предположение об изучаемом явлении/объекте, которое основано на предыдущих знаниях/опыте и подтверждается/опровергается в исследовании.

Пример 1: Цель: Оценка эффективности предоставления услуг для ПИН через аптечные сети. Задачи: Определить основные характеристики ПИН –клиентов аптек (социально-демографические, принадлежность к определенным субкультурам, вид употребляемого наркотика, стаж употребления и т.п.). Проанализировать факторы, которые обусловливают «популярность» аптек среди ПИН и основных препятствий для использования их услуг. Определить уровень удовлетворенности ПИН услугами, которые предоставляют аптеки.

Пример 2: Цель: Определение уровня распространенности ВИЧ- инфекции среди детей и молодежи, живущих и работающих на улице и не посещающих школу, в гг. Киеве и Одессе. Задачи: Описание популяции детей и молодежи улицы, проживающих в Киеве и Одессе (демографических характеристик и поведенческих факторов, связанных с употреблением наркотиков и сексуальной активностью). Оценка факторов риска заражения ВИЧ "детей и молодежи улицы» Киева и Одессы, особенно роль употребления инъекционных наркотиков. Анализ возможных путей привлечения ВИЧ- инфицированных "детей и молодежи улицы" к получению услуг по лечению, уходу и поддержке на местном уровне.

Примеры исследовательских вопросов Каковы характеристики «детей улицы»? А именно: Кто они: пол, возраст, из каких семей? Где живут? Какое рискованное поведение имеют? Чем болеют? Куда обращаются за помощью? И т.п.

Составные части протокола (ІІІ) Выборка исследования Единица наблюдения Обоснование размера выборки Критерии включения представителей целевой группы в выборку Описание выборки Квоты Особенности рекрутинга Контроль за соблюдением выборки

Составные части протокола (ІV) Организация, процедуры исследования Описание основных этапов исследования Процедура исследования на каждом этапе (особенно если «связанное» исследование – описание процедуры забора крови и идентификации образцов крови и анкет) Описание рисков для исследователей/респондентов и возможных путей их решения во время исследования График выполнения исследования Описание команды исследователей Этика исследования (форма информированного согласия, процедура получения согласия, возможность неучастия в исследовании, процедура тестирования)

Составные части протокола (V) Инструментарий исследования Основные индикаторы, показатели, которые должны войти в инструментарий Основные блоки вопросов Возможные шкалы

Практические шаги по организации и проведению операционных исследований среди уязвимых групп в 2009 г.

Основные шаги (I) Доработка протоколов операционных исследований Презентация и обсуждение протоколов операционных исследований на группах (по целевым группам и МиО) Выбор формата возможного варианта реализации исследования (исследовательский центр/институт, исследовательская команда (консультанты), «поле» + аналитика) Подготовка, объявление и проведение тендера или конкурса на операционные исследования Подготовка договоров или техзаданий для проведения исследования

Основные шаги (II) Создание исследовательской команды Проведение операционных исследований Анализ полученных данных и написание аналитических отчетов Презентация результатов исследований Анализ полученных данных и рекомендаций операционных исследований менеджерами и специалистами Альянса – принятие управленческих решений