Оценка программ профилактики и укрепления здоровья Государственный научно- исследовательский Центр профилактической медицины МЗ РФ, Москва Ведущий научный сотрудник, кандидат медицинских наук Т.В.Камардина

2 6 шагов принятия научно- обоснованных решений 1. Кратко определить проблему и подходы к ее решению 2. Установить, что известно из научной литературы 3. Выразить проблему в количественном выражении 4. Разработать возможные программы или политику для решения проблемы 5. Разработать план действий для осуществления программы или политики 6. Оценить программу или политику

3 ЧТО ОЦЕНИВАЕТСЯ – ТО И ВЫПОЛНЯЕТСЯ! ( из фольклора менеджеров )

4 6-й шаг - оценка программ или политики Как Вы оцениваете программу, по каким критериям?

5 Что такое оценка? «Оценка программ в области здравоохранения представляет собой системный метод приобретения знаний из опыта и использование полученных уроков с целью улучшения текущей деятельности и планирования за счет выбора альтернатив для дальнейшего ее осуществления». «Оценка программ здравоохранения. Руководящие принципы». ВОЗ, Женева, ВОЗ, Женева

6 Основной вопрос оценки Достигнуты ли задачи программы? Другими словами это означает «эффективна ли программа?».

7 Объекты оценки Программа - набор мероприятий или видов деятельности, направленный на достижение запланированных целей и задач Проект – можно рассматривать компонентом программы, имеет более ограниченные сроки выполнения и меньшие масштабы деятельности.

8 Элементы программы (проекта) Ресурсы – компоненты, которые нужно вложить для реализации программы Стратегии и процессы – механизм осуществления действий Промежуточные результаты (impact) или Качественные изменения (outcomes) Количественные измеряемые результаты (outputs)

9 Схема оценки программы Исходная ситуация Ресурсы (income evaluation) Стратегии и процессы – внедрение (process evaluation) Промежуточные результаты (impact evaluation) Конечные результаты (outcome evaluation) ФР Ресурсы Кадровые Материаль ные и т.д. Политика Законодательство Образование Работа с СМИ Образование профессионалов Изменения в структуре службы,участи е медиков, отношение к профилактике ФР Заболеваемость Смертность Качество жизни Оценка процессов

10 Для чего нужна программная оценка? Продолжить или прекратить программу или проект. Каким образом можно улучшить программу или проект. Какие новые методы или способы предоставления услуг могут быть добавлены в программу. Какие методы или способы предоставления услуг необходимо исключить из программы. Каким образом можно создать подобную программу или проект в другом месте ( в другой организации или регионе). Каким образом лучше распределить ресурсы между двумя конкурирующими программами или проектами. Нужно ли принять или отклонить подходы и стратегию, используемую в данной программе или проекте.

11 Кому нужна оценка и кто должен оценивать программу? Организации, финансирующие программу Лица, организующие программу Лица, практически осуществляющие программу - врачи, медицинские сестры, учителя Население Партнеры Общественность

12 Вопросы для оценки: например, для организаций, финансирующих программу Следует ли продолжать или прекратить выполнение/финансирование той или иной программы; Следует ли воспроизвести ту или иную программу в других регионах, или оставить ее на уровне одного пилотного проекта; Следует ли продолжать выполнение программы в том виде, в котором она есть или ее необходимо усовершенствовать; Следует ли увеличить объем вложений в ту или иную программу.

13 Виды оценки Оценка потребностей Оценка целей и задач Оценка воздействия Оценка результатов Оценка экономической эффективности программы

14 Оценка процессов Отвечает на вопросы «Что делается? Для кого? И Как?» Позволяет скорректировать действия Проводится через короткие промежутки времени

15 Оценка влияния – оценка промежуточных результатов Отвечает на вопросы «Какие результаты получены при внедрении программы? Какие наиболее быстрые результаты получены и как их можно распространить?» Происходит изменение поведения Показатели для оценки – изменения в знаниях, отношении, привычках, умении.

16 Пример оценки процессов Стратегия образования медицинских работников Процесс – непрерывное медицинское образование Показатели для оценки - доступность курсов, посещаемость курсов, сертификация работников здравоохранения и др.

17 Оценка конечных результатов программы Каждый проект/программа имеет конкретные задачи, цели В какой степени достигнуты эти задачи позволяет сказать конечная оценка Что оценивается – смертность, заболеваемость, факторы риска Пример: проект Северная Карелия – через 20 лет смертность снизилась более, чем на 50%.Северная Карелия

18. Динамика смертности от сердечно-сосудистых заболеваний в странах Европы. Мужчины 45-74лет Годы РФ Фин. Анг.&Уэл. Дания Adapted to S.Sans et al. Eur Heart J, v.18, 1997 Коэффициенты смертности на 100,000 чел./год

Динамика смертности от сердечно-cосудистых заболеваний в странах Европы. Женщины 45-74лет. Годы РФ Фин. Анг.&Уэл. Дания Adapted to S.Sans et al. Eur Heart J, v.18, 1997 Коэффициенты смертности на 100,000 чел./год

20 Оценка процессов и конечных результатов Процессы Чаще качественная Через короткие промежутки времени В течение всей программы позволяет заглянуть внутрь программы Дает возможность применить обратную связь и изменить ход программы Позволяет прогнозировать конечный результат Позволяет экономить ресурсы Конечные результаты Чаще количественная Через длительный период времени В конце программы Невозможно применить обратную связь и изменить программу и вкладываемые в нее ресурсы Более точная оценка Позволяет судить о достижении задач

21 Мониторинг и оценка программы Проводится непрерывно Программа принимается в существующем виде без изменений Запланированные деятельность и результаты сравниваются с фактическими Полученная информация используется для улучшения работы по проекту Проводится на ключевых этапах реализации проекта Программа подвергается анализу с целью оптимизации/улучшения Анализируются причины достижения/не достижения запланированных результатов Полученная информация может использоваться как для улучшения работы по данному проекту, так и для уточнения планов на будущее

22 Критерии качества информации для оценки необходимость, которая характеризуется содержательностью информации и степенью ее использования; достаточность, которая характеризуется полнотой охвата, количественного и качественного описания явления, факта; существенностью информации, зависящей от возможности ее практического применения в процессе обработки и представления для управления; достоверность (доказательность и обоснованность) и надежность определяются источником получения, технологии получения, обработки и хранения информации полученной в ходе оценки; своевременность получения информации лицами, уполномоченными принимать решения. Если сообщение запаздывает, то теряется сам смысл информации (могут быть упущены возможности и т.п.), кроме того, нежелательные последствия различного рода усугубляются.

23 Примеры надежности данных Смертность – установление причины смерти. Регистр смертности – определенные критерии установки причины. Факторы риска. Наличие стандартной анкеты.

24 Примеры обоснованности данных Заболеваемость стенокардией напряжения. Данные поликлиники. Распространен- ность стенокардии напряжения по данным опросника Роуза.

25 Выбор показателя для оценки Показатель не определяет желаемый результат… он только задает параметр измерения желаемого результата Критерий успеха определяется таким образом, чтобы его можно было сосчитать. Определение единицы измерения

26 Экономическая эффективность программы (экономическая оценка или анализ) Без систематической оценки сложно выявить все возможные альтернативы Важно понимать, с чьей точки зрения анализируются альтернативы Необходимо количественное определение затрат на программу и сопоставление с полученными результатами

27 Необходимо количественное определение затрат на программу и сопоставление с полученными результатами Оценка затрат, оценка результативности, сопоставление затрат и результатов по одной выделенной программе все эти исследования представляют собой неполный (или частичный) анализ. Полный экономический анализ включает определение, измерение и сопоставление затрат и результатов по двум или нескольким альтернативам, дающее основы для квалифицированного выбора - минимизации затрат, затраты-результативность, затраты-выгода, затраты-полезность.

28 Эффективность различных методов по отказу от курения

29 Методы экономического анализа – минимизация затрат (cost-minimization) Используется при необходимости сравнения альтернатив, которые дают примерно одинаковые результаты Затраты на 1 пациента, на 1 операцию.

30 Методы экономического анализа – затраты результативность (cost-effectiveness) Для измерения эффекта применяется только один количественный показатель – число сохраненных жизней или лет Применяется не только для однотипных вмешательств Затраты на единицу результата (руб на 1 спасенный год) Результат на единицу затрат (число спасенных лет на 1 рубль)

31 Методы экономического анализа – затраты – выгода (cost-benefit) Последствия измеряются более чем одним показателем Затраты и результаты выражаются в денежном эквиваленте Измеряются отношением денежных затрат к денежной выгоде либо в виде суммы

32 Методы экономического анализа – затраты–полезность (cost- utility) Все последствия альтернативных программ измеряются с учетом их полезности для потребителей – QALY или DALY Результат выражается через затраты на 1 QALY или через число QALY на 1 потраченный рубль

33 Основные этапы в проведении оценки Определение и вовлечение всех заинтересованных в оценке сторон Описание программы Разработка дизайна оценки Получение достоверной информации Обоснование выводов Обеспечение использования результатов оценки и распространение информации об извлеченных уроках