Применение многометодной стратегии сбора данных для построения сводного индекса (на примере независимой оценки качества (НОК) центров социальной помощи в Москве) Савинская Ольга Борисовна (к.с.н., доцент, Департамент социологии НИУ ВШЭ), Дудченко Ольга Николаевна (к.э.н., с.н.с., Институт социологии РАН), Мытиль Анна Владимировна (с.н.с., Институт социологии РАН) XVII Апрельская международная научная конференция Сессия: Мультиметодные стратегии социологического исследования

Что такое НОК? Контекст и законодательные рамки Независимая оценка качества – это один из видов оценочных исследований, имеющий свою специфику в силу установленных законодательных ограничений. Основная цель НОК – оценка условий предоставления социальных услуг. Основные документы: ФЗ «Об основах социального обслуживания граждан в РФ» от Приказ Минтруда России от N 391 а «О методических рекомендациях по проведению независимой оценки качества работы организаций, оказывающих социальные услуги в сфере социального обслуживания». 3. Приказ Минтруда России от N 995 н «Об утверждении показателей, характеризующих общие критерии оценки качества оказания услуг организациями социального обслуживания». 4. Решение Общественного Совета ДСЗН города Москвы от г НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 2

Что такое ЦСПСи Ды? Сеть 28 центров помощи семье и детям, которые оказывают как материальную, так и нематериальную помощь: - консультативную, - социально-психологическую, - социально-педагогическую, - социально-бытовую - и другие виды помощи НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 3 Только экономическая помощь 23% Только услуги для детей 29% Только услуги для взрослых 8% Пользование несколькими услугами одновременно 35% Пользование всеми услугами, предоставляемыми ЦСПСиД 6% Результаты исследования 2015 г.

Методологические проблемы НОК Достигаемый результат: составление рейтинга, -который был бы полезен получателям услуг для выяснения лучшего центра, с одной стороны, -был бы полезен руководителям для дальнейшего улучшения условий предоставления услуг. Насколько выполнимы эти цели? Задачи методологической экспертизы: Проанализировать адекватность познавательных возможностей методов сбора данных познавательным потребностям. Выявить, какого рода данные еще необходимы для полноценной оценки учреждения и качества его услуг, и какими методами возможен сбор этих данных. Провести анализ полевого опыта работы: оценить ситуацию сбора данных - доступность, качество инструментария, проблемы кодирования данных. Проанализировать формулу сводного индекса. Проанализировать модель составления рейтинга на основе сводного индекса. Достаточно ли собранных данных для разработки рекомендаций по оценке качества работы учреждения и предоставляемых условий для оказания социальных услуг? НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 4

Методы исследования Согласно методике, предложенной в НПА: анализ документов, содержащих статистические данные работы центров (28 центров) 4 критерия, формализованное телефонное интервью по контактному телефону ЦСПСиД (28 интервью) 3 критерия, контент-анализ сайтов ЦСПСиД (28 сайтов организаций) 4 критерия, опрос получателей услуг в ЦСПСиД (выборка – 900 человек, 44 места сбора данных) 12 критериев, формализованное наблюдение в ЦСПСиД (44 наблюдения в 28 центрах и 16 филиалах) 9 критериев. Добавлены нашей исследовательской командой: кратковременное неформализованное наблюдение и написание заметок наблюдателя, «интервью с интервьюерами» (учет параметров, требующих коррекции, методического переосмысления), фотоматериал в дополнение к наблюдениям (фиксация различных аспектов оценки) НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 5

Количественные данные: показатели оценки и критерии измерения 5 показателей: Открытость и доступность информации об организации (12 критериев) Комфортность условий и доступность получения услуг, в том числе для граждан с ограниченными возможностями здоровья (6 критериев) Время ожидания в очереди при получении социальных услуг (2 критерия) Коммуникативная эффективность организации (доброжелательность, вежливость и компетентность работников) (4 критерия) Удовлетворенность качеством обслуживания в организации (5 критериев) – 5.1. Доля получателей услуг, удовлетворенных качеством обслуживания в организации, от числа опрошенных получателей услуг – 5.2. Доля получателей социальных услуг, которые готовы рекомендовать организацию друзьям, родственникам, знакомым и другим гражданам, нуждающимся в данных услугах, от числа опрошенных получателей социальных услуг – 5.3. Число обоснованных жалоб получателей услуг на качество услуг (в расчете на 100 получателей: 0 жалоб - 10, , более - 0) – 5.4. Доля получателей социальных услуг, удовлетворенных качеством питания, от числа опрошенных получателей социальных услуг – 5.5. Удовлетворенность качеством проводимых мероприятий, имеющих групповой характер (оздоровительных, досуговых, профилактических и пр.) НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 6

Показатели оценки системы услуг семьям

Что нам дала стратегия «смешивания» качественного и количественного подходов? Тип дизайна по Д.Моргану: «дополнительное покрытие». Тайминг: параллельный (сбор количественных и качественных данных производился в одно и то же время) НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 8

Пример 1.1.: как неформализованное наблюдение дополняет формализованное В бланке наблюдения есть такая позиция как наличие информационных стендов и их наполнение. Один из критериев наличие образцов документов, которые необходимо заполнить получателю услуг НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 9

Пример 1.1.: как неформализованное наблюдение дополняет формализованное (продолжение) По наблюдениям экспертов, во многих центрах такие образцы собраны в папках, которые даются получателям услуг в руки, в других - в заполнении документов каждому посетителю помогает специалист. Можно предположить, что эти формы удобнее, чем вывешивание многочисленных образцов на стендах (чтобы утверждать это, необходимо задать соответствующий вопрос самим клиентам), но по формальным основаниям оценка снижается НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 10

Пример 1.1.: как неформализованное наблюдение дополняет формализованное В некоторых организациях имелись узкие коридоры, в которых добавление поручней приводило бы к невозможности передвигаться на коляске ни самостоятельно, ни с помощью сотрудников НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 11

Отсутствие же поручней, что вполне логично для реализации принципа доступности среды, приводило к снижению оценок наблюдателем. То есть сотрудникам таких центров приходится искать альтернативные возможности: компактно размещать помещения, где работают с инвалидами, обеспечивать физическую помощь в перемещениях. Но формально это тоже никак не учитывается. Оценки доступности снижались также и тем организациям, где проводился ремонт именно с целью улучшения качества условий нахождения в организации и имелся уже привезенный инвентарь, но еще не смонтированный на нужные места НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 12 Пример 1.1.: как неформализованное наблюдение дополняет формализованное (продолжение)

Пример 2.: как «интервью с интервьюерами» дополняет информацию о массового опроса Методически несостоятельным оказался блок «Время ожидания в очереди при получении социальных услуг» Прежде всего, нужно отметить, что проблема очередей для потребителей услуг московских ЦСПСиД в принципе не актуальна. В связи с этим, включение в анкету для посетителей двух вопросов о времени ожидания услуг оказалось не просто избыточным, оно определенным образом дискредитировало опрос в глазах респондентов, т. к. у них возникало впечатление, что авторы анкеты плохо представляют себе специфику работы изучаемых организаций НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 13

Как Вы оцениваете период ожидания получения услуг в очереди при посещении учреждения? Как бы Вы оценили период ожидания получения услуг от момента подачи заявления до ее получения? НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 14 Пример 2.: как «интервью с интервьюерами» дополняет информацию о массового опроса (продолжение) Очередь отсутствует 84% Очередь есть, но небольшая 12% Доля позитивных оценок 96% Короче, чем я предполагал (а)55% Примерно такой, как я предполагал (а)35% Доля позитивных оценок 90%

Пример 3. Анализ открытых вопросов в анкетах массового опроса Один из параметров оценки открытости организаций наличие каналов обратной связи, в том числе присутствие в офисах книг жалоб и предложений. Такие книги существуют во всех центрах, а часто в каждом из их подразделений. Однако просмотр содержания говорит о том, что записи делаются не слишком часто и в основном наполнены благодарностями, а не замечаниями. В пожеланиях получателей услуг во время опроса отмечалась такая форма информационной активности организаций, как телефонные «обзвоны» существующих и потенциальных клиентов. Однако оценка этой работы не включена в число критериев, характеризующих их информационную открытость НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 15

Предложения получателей услуг: По результатам исследование 2015 г., Москва НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 16 Пример 3. Анализ открытых ответов в анкетах массового опроса (продолжение) Вопросы к сфере социального обеспечения (процедуры, качество услуг, методология, финансирование) 27% Расширение спектра социальных услуг 19% Увеличение ассортимента внутри уже оказываемых услуг 17% Вопросы, связанные с помещением, благоустройством прилегающей к нему территории 15% Информационное обеспечение 10% Порядок и условия работы конкретного учреждения 7% Необходимость приобретения инвентаря, оснащения 5%

Пример 4. Что добавляет к анализу инфраструктуры центров фотоматериал? НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 17

Спасибо за внимание! НИУ Высшая школа экономики, XVII Апрельская международная научная конференция 18