© Екатерина Максименко «Методологические подходы к оценке качества проектов снижения вреда среди ПИН» Подготовлено для Четвертой Национальной конференции. - презентация

1 © Екатерина Максименко «Методологические подходы к оценке качества проектов снижения вреда среди ПИН» Подготовлено для Четвертой Национальной конференции «Розбудова національної системи моніторингу та оцінки заходів протидії епідемії ВІЛ/СНІД в Україні» Ялта-2008

2 © Екатерина Максименко Данная презентация представляет методологию, которая использовалась в операционных исследованиях МБФ «Международный Альянс по ВИЧ/СПИД в Украине», проведенных в июле- августе 2008 года Автор выражает благодарность всем сотрудникам МБФ «Международный Альянс по ВИЧ/СПИД в Украине», а также организаций, реализующим проекты снижения вреда на местах, которые были вовлечены в данный проект

3 © Екатерина Максименко СОДЕРЖАНИЕ Этапы операционного исследования Планирование и реализация операционного исследования –Цели и задачи оценки качества проектов снижения вреда среди ПИН –Выбор методов оценки: качественные и количественные методы –Сбор информации –Обработка информации, ее анализ и интерпретация Полученные результаты исследования Использование результатов исследования в практической работе

4 © Екатерина Максименко Этапы операционного исследования 1.Первый шаг в исследовании – точная формулировка его цели. 2.Выделение задач, осуществление которых поможет достичь нашу цель. 3.Выбор из существующего спектра подходящих методов для решения задач. 4.Дизайн проекта. А) Разработка механизма сбора и анализа информации согласно выбранным методам: место, время, способ, ресурсы. Б) Разработка инструментария (выборка, квоты, анкеты, гайды, скринера). 5.Полевой этап: сбор и фиксация информации 6.Обработка и анализ информации: А) Обработка информации (составление базы данных, расшифровка и систематизация записей, дневников и т.п.) Б) Анализ информации (программное обеспечение, формализация, выделение главного от частного. В) Интерпретация результатов (выводы и рекомендации). Г) Подготовка аналитического отчета. 7.Внедрение результатов исследования в практику и последующая проверка эффективности. Цель исследования Определение задач Выбор методов и Дизайн проекта Сбор информации Анализ информации Использование результатов

5 © Екатерина Максименко Выбор методов и Дизайн проекта Планирование операционного исследования Первый шаг в исследовании – точная формулировка его цели Пример: оценить качество услуг проектов снижения вреда среди ПИН в Регионах для улучшения содержания и дистрибуции услуг, а также расширения охвата клиентов Цель исследования Определение задач Сбор информации Анализ информации Использование результатов

6 © Екатерина Максименко Выбор методов и Дизайн проекта Планирование операционного исследования Пример - Задачи: 1.Проверить качество оказания услуг на пунктах обмена шприцев, включая: обмен шприцев; консультирование; выдачу информационных материалов; тестирование на ВИЧ и другие инфекции 2.Опосредовано оценить качество отчетной информации по охвату клиентов – количество клиентов и оказанных услуг 3.Содержательно охарактеризовать общую атмосферу работы проектов: заинтересованность персонала и клиентов, эмоциональный фон, препятствия в работе, сильные стороны проектов, потребности сторон 4.Определить: –потенциал проектов по увеличению охвата –наиболее востребованные услуги проектов –наиболее востребованную форму оказания услуг –наиболее востребованную для ПИН информацию –уровень осведомленности клиентов проектов о ВИЧ-сервисных услугах –стаж пребывания клиентов в проекте 5.Рекомендовать действия по повышению качества услуг и увеличению охвата в исследованных проектах Цель исследования Определение задач Сбор информации Анализ информации Использование результатов

7 © Екатерина Максименко Планирование операционного исследования Качественные, количественные методы или их комбинация? –Качественные методы дают неизвестную ранее информацию, понимание ответов на вопросы «как?» и «почему?», а также новые идеи для решений –Количественные методы проверяют, насколько распространены в общей массе интересующие нас факторы и какие существуют связи (корреляции) между ними Дизайн проекта учитывает место, время сбора исследования, количество необходимых респондентов либо кейсов наблюдения, метода анализа информации, график исследования, его материальную базу, а также существующий бюджет. Цель исследования Определение задач Сбор информации Анализ информации Использование результатов Выбор методов и Дизайн проекта

8 © Екатерина Максименко Выбор методов исследования Качественные методы 1.Глубинные и нарративные интервью 2.Фокус-групповые интервью 3.Жизненные истории 4.Изучение случая («case study») 5.Включенное наблюдение 6.Дискурс-анализ и другие Количественные методы 1.Опрос массовый: –Анкетирование «лицом к лицу» –Телефонный опрос –Почтовый опрос –Интернет-опрос 2.Наблюдение количественное, «тайный визитер», «аудит» (фиксация происходящего по определенным критериям) 3.Контент-анализ (документов, текстов, речи и т.п.) 4.Вариации эксперимента (холл-тест) и другие

9 © Екатерина Максименко Выбор методов исследования Для выбора подходящего метода необходимо отталкиваться от поставленных перед исследованием задач ЗадачаМетод решения 1)Проверить качество оказания услуг в проектах снижения вреда на пунктах обмена шприцев Включенное наблюдение и аудит. Комбинация качественных и количественных методов 2)Оценить качество отчетной информации по охвату клиентов – количество клиентов и оказанных услуг Включенное наблюдение и аудит. Комбинация качественных и количественных методов 3) Охарактеризовать работу проектов Включенное наблюдение и аудит. Комбинация качественных и количественных методов 4) Определить: потенциал проектов по увеличению охвата, наиболее востребованные услуги проектов, наиболее востребованную форму оказания услуг, наиболее востребованную для ПИН информацию, уровень осведомленности клиентов проектов о ВИЧ- сервисных услугах Анкетирование и включенное наблюдение. Комбинация качественных и количественных методов 5) Рекомендовать действия по повышению качества услуг и увеличению охвата в исследованных проектах Анализ результатов всего исследования

10 © Екатерина Максименко Выбор методов исследования и дизайн проекта Количественное наблюдение - аудит Качественное наблюдение Анкетирование Скрытое наблюдение: сотрудники организаций не знали, что их работа оценивается по определенным параметрам Заполнение специально разработанных форм по основным параметрам оценивания работы пунктов Включенное наблюдение: исследователь участвует в работе пункта и наблюдает за происходящим в соответствие с задачами исследования Добровольное самостоятельное бесплатное заполнение клиентами и соц- работниками из среды специально разработанных анкет в соответствие с задачами исследования Всего заполнена 31 форма по количеству наблюдаемых пунктов Фиксация в свободной форме в комментариях к формам наблюдения Всего заполнено 93 анкеты по количеству согласившихся отвечать клиентов пунктов

11 © Екатерина Максименко Дизайн проекта: схема реализации поля Данная таблица показывает, какие пункты от каких организаций запланированы для исследования. Также показан объем работ, а именно – количество пунктов. Населенный пункт Организация Виды пунктов Общее количество Комьюнити -центр ПОШ при поликлинике Уличный пункт Аутрич- маршрут Регион 1 Организация Организация Организация Регион 2 Организация Регион 3 Организация Организация Регион 4 Организация Организация Регион 5 Организация Организация Регион 6 Организация Организация Организация Всего

12 © Екатерина Максименко График проекта График проекта указывает на длительность каждого этапа и дает гарантию, что результаты исследования будут получены к нужному сроку. ЗадачаНачалоКонецДлительность Согласование задач проекта18 июня 1 Разработка и согласование инструментария 19 июня25 июня5 Полевой этап26 июня18 июля17 Введение и обработка данных21 июля25 июля5 Подготовка отчета28 июля8 августа10 Презентация11 августа 1 Общая длительность проекта39 рабочих дней

13 © Екатерина Максименко Разработка инструментария Вопросы, согласно которым составлены формы наблюдения по аудиту пунктов: 1.Дата проведения наблюдения 2.Место наблюдения (название и место работы пункта) 3.Время работы пукнта 4.Количество обслуженных на пункте клиентов 5.Пол: количество мужчин и женщин 6.Возраст клиентов 7.Выдача шприцев на пункте 8.Выдача презервативов на пункте 9.Выдача информационных материалов на пункте 10.Консультирование на пункте по вопросам профилактики ВИЧ и снижения вреда 11.Тестирование клиентов на пункте на ВИЧ и сифилис 12.Дотестовое и послетестовое консультирование на пункте 13.Учет соцработниками проделываемой работы на пункте 14.Комментарии: обстановка на пунктах, мотивация работников и клиентов, препятствия в работе, затребованные услуги, особо интересующая клиентов информация, ситуация наркорынка и другие релевантные вопросы.

14 © Екатерина Максименко Разработка инструментария Вопросы, согласно которым составлены анкеты для опроса клиентов: Дата опроса Место опроса Пол респондента Возраст респондента Семейное положение Наличие детей Стаж приема наркотиков Длительность участия в проектах снижения вреда Частота пользования услугами проекта Вид употребляемого наркотика Знание услуг проектов снижения вреда Степень важности услуг для респондента Необходимая для респондента информация по вопросам снижения вреда Самая удобная для респондента форма получения услуг Количество знакомых, которых респондент может привести в проект Мотивация, необходимая, чтобы знакомые респондента пришли в проект

15 © Екатерина Максименко Реализация операционного исследования Сбор информации происходит согласно разработанному графику, по определенной схеме с использование разработанного инструментария Информация может фиксироваться в письменном виде (анкеты, дневники наблюдения, формы по аудиту), либо с помощью аудио или видео оборудования Цель исследования Определение задач Сбор информации Анализ информации Использование результатов Выбор методов и Дизайн проекта

16 © Екатерина Максименко Реализация операционного исследования Методы анализа информации отличаются в зависимости от методов используемого исследования Количественная информация подразумевает статистическую обработку, для которой сейчас используются специальные программные пакеты (SPSS, OCA). Статистически обработанная информация подвергается интерпретации – исследователь делает выводы, что означает тот или иной результат для его гипотез. Качественная информация подразумевает интерпретационный анализ без статистической обработки – выделение общего от частного и понимание причин и тенденций. Используемое программное обеспечение носит вспомогательный характер (анализаторы текста, матрицы анализа и тп.) Цель исследования Определение задач Сбор информации Анализ информации Использование результатов Выбор методов и Дизайн проекта

17 © Екатерина Максименко Результаты исследования: Характеристика клиентов Получена информация про клиентов пунктов по следующим параметрам: Возраст Пол Семейное положение и наличие детей Стаж употребления инъекционных наркотиков Вид употребляемого наркотического вещества Длительность участия в проектах Частота пользования услугами проектов

18 © Екатерина Максименко Результаты исследования: Контроль работы пунктов Получена информация по работе пунктов по таким параметрам: Соответствие заявленного расписания работы пунктов реальной ситуации Реакция организаций на выявляемые проблемные ситуации

19 © Екатерина Максименко Результаты исследования: Оценка качества услуг на пунктах Получена информация о качестве услуг на пунктах по таким параметрам: Формальное наличие обязательных услуг на пункте Соответствие содержательной составляющей услуг поставленным перед организациями требованиям

20 © Екатерина Максименко Результаты проекта: Опосредованная оценка охвата клиентов Получена информация, позволяющая делать допущения об охвате клиентов организациями, по таким параметрам: Количество клиентов на пунктах Количество новых клиентов на пунктах Качество учета клиентов Потенциал проектов по увеличению охвата

21 © Екатерина Максименко Результаты проекта: Оценка знаний и потребностей клиентов Получена информация по оценке знаний и потребностей клиентов через следующие параметры: Уровень знаний услуг Востребованные клиентами услуги Востребованная клиентами информация Востребованные формы получения услуг

22 © Екатерина Максименко Результаты исследования: Выводы и рекомендации Сделаны выводы по исследованию и разработаны рекомендации по таким вопросам: Качество оказания услуг в проектах снижения вреда Характеристика работы проектов Опосредованная оценка качества отчетной информации по охвату клиентов Потенциал проектов по увеличению охвата Оценка потребностей клиентов в услугах и информации

23 © Екатерина Максименко Использование результатов исследования в практической работе Исследования проводятся только для того, чтобы их результаты были использованы на практике в создании и улучшении проектов. Исследования, оторванные от практики, сами по себе ничего не значат для жизни людей. Цель исследования Определение задач Сбор информации Анализ информации Использование результатов Выбор методов и Дизайн проекта

24 © Екатерина Максименко Использование результатов исследования ! Для реализации результатов исследования необходимо четко двигаться по разработанному плану согласно рекомендациям исследования. План включает ответы на вопросы «как?», «когда?», «кто?» и «что делает?». Также время от времени необходимо проверять успешность этого движения. ! Для реализации результатов исследования могут существовать препятствия: ограниченные ресурсы, отсутствие заинтересованности ключевых лиц, неадекватность рекомендаций реальной ситуации, неучитываемость каких-либо важных факторов. ! После того, как прошло запланированное время для реализации рекомендаций, необходимо проверить, насколько она была успешна. Как вариант, для этого может быть проведено следующее операционное исследование.

25 © Екатерина Максименко Спасибо за внимание! Звоните: т Пишите: С удовольствием отвечу на Ваши вопросы, Екатерина Максименко