Методы общественной экспертизы. ЭКСПЕРТИЗА ЭКСПЕРТНЫЕ ОЦЕНКИ МЕТОД ЭКСПЕРТИЗА (франц. expertise, от лат. expertus - опытный), исследование специалистом. - презентация

1 Методы общественной экспертизы

2 ЭКСПЕРТИЗА ЭКСПЕРТНЫЕ ОЦЕНКИ МЕТОД ЭКСПЕРТИЗА (франц. expertise, от лат. expertus - опытный), исследование специалистом (экспертом) каких-либо вопросов, решение которых требует специальных познаний в области науки, техники, искусства и т. д. ЭКСПЕРТНЫЕ ОЦЕНКИ, количественные и (или) порядковые оценки процессов или явлений, не поддающихся непосредственному измерению. Основываются на суждениях специалистов. МЕТОД (от греч. methodos - путь исследования) - способ достижения какой-либо цели, решения конкретной задачи; совокупность приемов или операций практического или теоретического освоения (познания) действительности. В философии метод - способ построения и обоснования системы философского знания.

3 Элементы, которые нужно учитывать при выборе методов 1)ЦЕЛЬ – при выборе методов нужно понимать, какой цели вы хотите достигнуть; 2)ПУТЬ – это должна быть последовательность действий, логически увязанная от первого действия до последнего и приводящая к цели; 3)ПРИЕМЫ (операции) – это должны быть те конкретные действия, которые позволяют преодолеть путь и достигнуть цели; 4)ПОЗНАНИЕ ИСТИНЫ - оно должно быть достигнуто через получение ответов на заранее поставленные вами вопросы; 5)ДЕЙСТВИТЕЛЬНОСТЬ – то, что существует и поддается измерению, т.е. вы измеряете нечто существующее в реальности; 6)ИССЛЕДОВАНИЕ СПЕЦИАЛИСТОМ – это значит, что эксперт должен иметь специальную подготовку и владеть набором тех методов, которые позволяют ему достигнуть цели.

4 Структура экспертного метода 1)Обосновывающая часть - содержит изложение научной базы, на которой создан метод, и представление о результате его применения 2) Операционная часть - действия и приемы осуществления метода 3) Техническая часть - различные материальные средства и приборы, которые позволят реализовать метод Методы экспертизы можно разделить на несколько больших блоков

5 Диалектический метод (база для всех остальных методов) Включает в себя такие операции познания: -анализ (состоит в расчленении целого на части, системы на остальные ее элементы), -синтез (состоит в интеграции отдельных элементов), -индукция (способ познания от частного к общему), -дедукция (познание от общего к частному) ; -сравнение, -обобщение, -и др.

6 Общенаучные методы (универсальные методы исследования, так как каждый из них может использоваться для решения большой группы вопросов) - наблюдение, - измерение, - описание, - эксперимент, - и другие.

7 Просто хотел посмотреть, как ты работаешь! :))) Наблюдение - непосредственное восприятие какого-либо объекта, явления, процесса, осуществляемое преднамеренно и целенаправленно с целью его изучения.

8 Измерение - совокупность действий, выполняемых при помощи средств измерений в целях нахождения числового значения величины в принятых единицах измерения.

9 Описание - указание на признаки объекта, фиксирование обобщенных результатов наблюдения и/или измерения с помощью средств письменной речи.

10 Эксперимент - опытное действие, специально осуществляемое для искусственного неоднократного изменения условий наблюдения объекта или явления с целью выявления природы, сущности свойств, характеристик и других особенностей наблюдаемого объекта или явления.

11 СОЦИОЛОГИЧЕСКИЕ МЕТОДЫ ИССЛЕДОВАНИЯ Они позволяют: получить отражение реального состояния социальных явлений и процессов в обществе, снять «снимок состояния»; выявить имеющиеся противоречия и тенденции развития социальных отношений; дать прогноз социальных ситуаций; определить оптимальные пути воздействия на тенденции общественного развития и разрешения противоречий; осуществлять действенный контроль за состоянием дел в различных сферах общественной жизни, осуществлять обратную связь.

12 Проведение социологического исследования состоит из последовательных этапов: 1) разработка программы исследования: -определение проблемы исследования, -формирование цели и задач исследования, -разработка гипотезы, -установление индикаторов, -выявление объекта исследования, -разработка инструментария. 2) сбор информации; 3) обработка материалов исследования; 4) анализ информации, подготовка отчета по итогам социологического исследования, выводов и рекомендаций.

13 Принципы дополнения По возможности, используйте несколько источников информации. Есть несколько типов дополнения: Дополнение данных подразумевает использование разнообразных источников информации при проведении исследования. Например, интервью по определенному вопросу или серии вопросов с людьми, занятыми различной профессиональной деятельность, имеющими разный статус или принадлежащими к различным политическим партиям. Дополнение исследователей подразумевает участие нескольких разных оценщиков или ученых, занимающихся социальными науками. Дополнение методов подразумевает использование нескольких методов для изучения одной проблемы или программы, например, интервью, наблюдения, анкетирования или вторичных письменных документов. Дополнение теорий подразумевает использование нескольких различных подходов для интерпретации одних и тех же данных.

14 Выборка для соц.исследования ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ - та или иная общность людей, отражающих какую-либо социальную проблему (например, ВСЕ пенсионеры). ВЫБОРОЧНАЯ СОВОКУПНОСТЬ - отобранное по строго заданному правилу определенное число элементов генеральной совокупности, подлежащее непосредственному исследованию (например, ЧАСТЬ всех пенсионеров). Репрезентативным считается такое исследование, при котором отклонение в выборочной совокупности по контрольным признакам не превышает 5%.

15 Основные методы выборки Метод механической выборки. Из генеральной совокупности через равные промежутки отбирается необходимое количество респондентов (например, каждый 10-й). Метод серийной выборки. Генеральная совокупность разбивается на однородные части и из каждой части пропорционально отбираются единицы для обследования (например по 20% респондентов из каждой части). Метод гнездовой выборки. В качестве единиц отбора выступают не отдельные респонденты, а группы с последующим сплошным опросом их. Данная выборка будет представительна, если состав групп схож между собой. Метод основного массива. Представляет опрос 6070% генеральной совокупности. Метод квотной выборки. Наиболее сложный метод, применяемый при большой генеральной совокупности и требующий для отбора респондентов использования не менее 4-х признаков.

16 Расчеты репрезентативной выборки с допущением 5%-ной ошибки В.Паниотто Объем генеральн ой совокупно сти Объем выборки

17 Методы сбора информации 1. ОПРОС Виды опроса: Анкетирование (самостоятельное заполнение анкеты респондентами): - индивидуальное -групповое -очное -заочное (почтовый опрос или опрос через газету). Интервьюирование (личное общение социолога с респондентом): -прямое (лично) -опосредованное (по телефону) -формализованное (заранее разрабатывается вопросник) -фокусированное (в центр внимания ставится конкретное явление); -свободное интервью (свободная беседа без заранее заданной темы).

18 2. Социологическое наблюдение - целенаправленное, систематизированное восприятие какого-либо явления с последующей фиксацией результатов на бланке или в дневнике наблюдения с помощью кино-, фото- или радиомагнитофонной аппаратуры 3. Анализ документов (доклады, протоколы, решения, публикации, письма, записки, личные дела, отчеты, архивные материалы и пр.) 4. Контент-анализ информации (публикации в СМИ, стенограммы выступлений и др.) 5. Фокус-группа – беседа с заранее определенной группой респондентов (применяется чаще всего для пилотажной проверки ряда гипотез, когда необходимо сформулировать новые идеи или принять какие-либо решения по итогам обсуждения; когда необходимо добиться немедленной реакции респондентов на тот или иной вопрос. И другие методы. Методы сбора информации

19 6. Метод «снежного кома» - метод сбора информации при минимальных первоначальных знаниях о проблеме. 7. Мозговой штурм – метод поиска и выработки новых идей. 8. Метод сценариев, применяемый прежде всего для экспертного прогнозирования. 9. Метод усредненных математических оценок 10. Метод «дельфи» - метод толкования (интерпретации) данных, производимого специалистами. И другие методы. Методы сбора информации

20 Разработка инструментария Наблюдение Необходимы: бланк или дневник наблюдения, фиксирующая аппаратура, инструкция для наблюдателя Анкетирование Необходимы: анкета, база данных о респондентах, инструкции анкетеру, таблица кодификации Интервьюирование Необходимы: бланк интервью, диктофон, инструкция интервьюеру Анализ документов Необходимы: Дневник анализа, инструкция для исполнителя Контент-анализ Необходимы: Бланк для контент-анализа, перечень подлежащих анализу смысловых единиц, инструкция для специалиста Фокус-группа Необходимы: План проведения фокус-группы, форма для фиксации результатов, инструкция для ведущего

21 Разработка инструментария Метод «снежного кома» Необходимы: первичная информация (респонденты), алгоритм сбора и обработки результатов, Мозговой штурм Необходимы: алгоритм выбора участников, алгоритм поиска решения, бланки для фиксации процесса обсуждения Метод сценариев Необходимы: первичные данные о проблеме, SWOT-анализ, прогноз вероятности реализации различных внешних условий. Метод усредненных математических оценок Необходимы: оценочная шкала, алгоритм оценивания, Метод «дельфи» Необходимы: Материал для интерпретации, форма для фиксации результатов, инструкция для организатора

22 Инструменты для наблюдения КАРТОЧКА НАБЛЮДЕНИЯ ____ Где проводилось _______________________ Дата _______ Время ____________________ Кто проводил __________________________ Новые элементы ситуации Реакция членов группыПримеча- ние наблюда- теля абвëû - украдкой посматри вает Появление в группе нового человека (описание его) Совершен- но равноду- шен Трудно опреде- лить реакцию Оживляет- ся, вступает в разговор с ним Делает вид, что не замечает никого

23 Инструменты для наблюдения КАРТОЧКА МОМЕНТНОГО НАБЛЮДЕНИЯ Где проводилось _______________________ Дата _______ Время ____________________ Кто проводил __________________________ Время Элементы наблюдаемого поведения (или их коды) Примечания Беспокойст во Обмен мнениями Двигатель- ная активность 0-30 мин мин. +-+

24 Инструменты для наблюдения БЛАНК НАБЛЮДЕНИЯ ЗА ХОДОМ ВСТРЕЧИ ИЗБИРАТЕЛЕЙ С КАНДИДАТОМ В ДЕПУТАТЫ Рецензенту следует внимательно ознакомиться с содержанием бланка. В процессе встречи необходимо фиксировать нужные позиции, обводя кружком номер кода и отмечая основные положения докладов, выступлений и наказов избирателей, вопросы и реплики из зала, другие соображения. 1. Место проведения встречи: 01 - по месту жительства 02 - на производстве 2. Форма встречи 04 – обсуждение предвыборной платформы 05 – дискуссия в форме «круглого стола» 06 – живая беседа с избирателями __ другое ____________ 3. Присутствовало на встрече ___ чел. 4.Преобладающий состав аудитории 10 – рабочие 11-интеллигенция 12 – молодежь 13 – смешанная… 5. Наличие политической рекламы 14 – фотовитрины 15 – листовки, буклеты, плакаты 16 – значки, вымпелы, другая атрибутика 6. Какие разделы программы кандидата или доклада вызвали положительный отклик аудитории (аплодисменты, одобрительные возгласы…) 17 – по проведению земельной реформы 18 – возрождению местной культуры 19 – по борьбе с преступностью… 7. Реакция на ответы кандидата 20 – одобрительная 21 – скорее одобрительная…

25 Инструменты для анкетирования Анкета - объединенная единым исследовательским замыслом система вопросов, направленных на выявление количественных и качественных характеристик объекта исследования. Структура анкеты: Перечень Шкала измерения индикаторов (т.е. всех показателей,(количественное или качественное которые используютсязначение индикатора) для измерения)

26 Принципы составления анкет 1. Используйте простой язык, понятный всем респондентам. 2. Заранее присваивайте респондентам коды для удобства обработки данных и занесения результатов в компьютерную базу данных. 3. Избегайте вопросов, которые могут доставить опрашиваемому дискомфорт. Старайтесь не запрашивать более одной информационной единицы в рамках одного вопроса. 4. Избегайте двусмысленных слов и вопросов. 5. Используйте все необходимые вопросы, чтобы получить нужную информацию. 6. Не перегружайте план интервью предметами, не относящимися к теме исследования. 7. Начинайте интервью с простых вопросов. 8. Задавайте вопросы в том порядке, в каком они записаны в анкете. 9. Проведите предварительную пилотную проверку анкет. 10. Тщательно разработайте инструкции для интервьюеров. 11. Заранее дайте инструкции интервьюерам, как найти дополнительную информацию в том случае, если ответы на отдельные вопросы не удаётся получить. 12. Обеспечьте конфиденциальность информации.

27 Требования к индикаторам Индикаторы должны удовлетворять следующим условиям: индикатор должен служить для измерения именно того явления или показателя, которое он отражает по своему определению; индикатор должен прямо и точно отражать происходящие изменения; уменьшение или увеличение индикатора однозначно должно свидетельствовать об улучшении или ухудшении исследуемого показателя; индикатор должен измерять факторы, отражающие поставленные цели (релевантность); индикатор изменяется в зависимости от территории, группы, а также во времени; индикатор должен быть чувствительным к изменениям в политике, программах и организациях; значение индикатора не подвержено изменениям посторонними факторами; индикатором нельзя манипулировать для отражения несуществующих достижений; индикатор должен быть доступным для отслеживания с течением времени; для отслеживания индикатора не требуется существенных затрат.

28 Типы вопросов анкеты -закрытые вопросы (ответ предполагает однозначный выбор между словами "да" и "нет«. Пример: "Вы участвовали в конкурсе проектов?«); -открытые вопросы (предполагает развернутый ответ и начинаются со слов: "Кто", "Что", "Как", "Где", "Сколько". Пример: "Кто подсказал Вам идею выбрать для проектирования именно тему детского сиротства?"); -полуоткрытые (Пример: "Сколько раз в неделю проходят консультации?»); -альтернативные вопросы (варианты ответа перечисляются через союз "или". Пример: "Вам удобнее переслать отчет по обычной почте или по электронной?"), -вопросы «выбор без выбора» (Пример: «Вы будете оплачивать покупку наличными или кредитной картой?»); -уточняющие вопросы ("За какое время это было сделано?"); - резюмирующие вопросы ("Я правильно поняла, что…").

29 Пример анкеты 1. Организационно-правовая форма и полное название исполнителя проекта 2. Ведется ли в вашей организации учет количества предоставляемых услуг? - да. - нет 3. Если да, то кто отвечает за осуществление такого учета: -руководитель организации -специальный сотрудник -волонтер -другой ответ _____ 4. Имеется ли в организации система оценки качества предоставляемых услуг? - да - Нет 5. Если да, то по каким критериям оценивается качество услуг (перечислите) 6. Содержание услуги (что входит в целевой пакет) - jписание сделайте на отдельном листе и приложите к анкете. (пояснение к вопросу: под целевым пакетом понимается комплекс благ, которые получает клиент во время единоразового предоставления ему услуги (например, целевой пакет по правовой услуге может состоять из устного консультирования, выдачи необходимой письменной справочной информации и сопровождения клиента до полного решения им проблемы). 7. В какое время суток предоставляются услуги ___________________

30 Пример таблицы для мониторинга (разновидность анкеты) Плановая дата проведения мероприятия Действительная дата проведения мероприятия Название мероприятия Краткое содержание мероприятия (в том числе количество участников) Финансовые затраты, тыс.руб. план факт

31 Интервьюирование (разновидность опроса) Бланк интервью готовится по тем же требованиям, что и анкета для опроса. В процессе интервью необходимо задавать как открытые, так и закрытые типы вопросов. Искусство заключается в том, чтобы задавать их в нужный момент и в нужном месте.

32 Практикум Цель: Требуется провести анкетирование пенсионеров с целью оценить уровень их материальной обеспеченности. Задание: Составить анкету из 5-ти вопросов.

33 БЛАНК КОНТЕНТ-АНАЛИЗА материалов газет Единица анализа – вопрос повышения гражданской активности в регионе Временной фактор – 3 месяца 1. Тип газет: областная, районная 2. Размер материала: строк; свыше 300 строк 3. Цель публикации: 010 – организовать 011 – одобрить 012 – пожелать 013 – предложить 014 – ориентировать… 4. Место работы корреспондента: 021 – госорганы управления 022 – правоохранительные органы… 5. Активность организаций гражданского общества Элементы Раскрыто обстоятельно Раскрыто частично Не раскрыто - Интеллектуальные ресурсы - Финансирование - Сотрудничество с исполнительной властью - Проведение общественных акций 6. Теоретический уровень корреспондентов Элементы Обращается широко Обращается частично Не обращается - Специально-научные данные - Социологические данные - Ссылки на цивилизованный мир - Убедительное обоснование собственного мнения - Непоследовательность в изложении мысли 7. Отношение к местной политике активизации ОГО (положительно, отрицательно, нейтрально)

34 Фокус-группа В фокусе – проблема, требующая изучения. Гипотеза – сформулированное предположение, проверяемое путем обсуждения с группой людей. Число участников – 5-12 человек (норма управляемости); Состав участников – гомогенный (для выяснения позиций определенной социальной страты); гетерогенный (для дискуссионной площадки). Не должны привлекаться к участию в фокус-группе: а) лица, знакомые с процедурой проведения фокус-групп; б) лица, знакомые друг с другом или с модератором; в) лица, профессионально знакомые с предметом обсуждения; г) лица, профессиональная деятельность которых связана с маркетингом или рекламой, а также профессиональные социологи и психологи. Число групп, проводимых по одной теме – от 4 до 10.

35 Пример выбора количества фокус-групп ФОКУС-ГРУППОВОЕ ИССЛЕДОВАНИЕ ПРОДУКТА «А» Группы должны иметь следующий состав: -женщины, являющиеся основными покупателями семьи, которые покупали продукт "А" в течение последнего месяца; из них одна группа в возрасте года, другая лет, -мужчины, которые делают ряд покупок в семье и покупали продукт «А» в течение последнего месяца, из них одна в возрасте года, другая лет, -подростки лет, которые знают продукт «А» и употребляли его в течение последнего месяца, из них одна мужская и одна женская; - смешанные по полу группы, которые не употребляли продукт "А" в течение последнего месяца, но знают о нем, из них одна в возрасте года, другая лет.

36 Результат фокус-группы Совокупное мнение участников фокус-группового обсуждения о правильности или ложности первоначальной гипотезы. Пример Гипотеза: «Лошади умеют летать» Результат: «Лошади не умеют летать, так как никто не видел у них крыльев и никто не видел летающих лошадей»

37 «Снежный ком» Применяется при минимальных первоначальных знаниях о самой проблеме либо о тех лицах, которые обладают знаниями о проблеме. Принцип: «Язык до Киева доведет…» Пример этапов работы по методу «снежного кома» для формирования группы экспертов: На основе анализа первичных данных по проблеме выбирается любой специалист, имеющий какие-то знания по выбранной проблеме. Этот специалист называет 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Каждый из десяти названных специалистов указывает 10 других специалистов. Из полученного списка специалистов вычеркиваются 10 первоначальных, а с остальными процедура повторяется. И так до получения окончательного списка экспертов.

38 «Мозговой штурм» 1) Проводится как собрание экспертов 2) Имеет два этапа проведения На первом этапе: -Высказываются любые идеи, даже самые абсурдные -нельзя критиковать предложения других, можно дополнять и развивать -Фиксируются абсолютно все идеи На втором этапе проводится анализ высказанных идей

39 Метод сценариев 1)Применяется для экспертного прогнозирования в ситуации, ход развития которой определяется несколькими условиями, каждое из которых может изменяться независимо от воли человека. 2) Предусматривает выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. 3) Каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования. 4) Общее число сценариев должно быть обозримо. 5) Осуществляется в два этапа: а) построение исчерпывающего, но обозримого набора сценариев; б) прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие вопросы. 6) Требует высокой компетентности разработчиков.

40 Метод усредненных математических оценок 1)Предмет (явление) оценивается с помощью условной математической шкалы (3-балльной, 10- балльной и др.) 2) Оценку проводит большое количество экспертов, проставленные ими баллы суммируются (могут затем делиться на число экспертов для получения средневзвешенного показателя). - 1 вариант – в расчет принимаются все оценки, например: ( ): 5 = вариант – крайние оценки отбрасываются, например: ( ) = 40 (общий балл).

41 Метод «дельфи» Пример «дельфийской» процедуры прогнозирования научно-технического развития: -в первом туре эксперты называли вероятные даты тех или иных будущих свершений; -во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличается от прогнозов основной массы, эксперт может изменить свои оценки, приближаясь к средним значениям; -усредненный показатель является результатом.

42 Виды экономической экспертизы -бухгалтерская экспертиза, предмет которой - хозяйственные операции, отраженные в первичных документах и учетных регистрах, -финансово-экономическая экспертиза, предметом которой является образование, распределение и использование доходов, денежных фондов, а также наличие отклонений в этих процессах, -финансово-кредитная экспертиза - исследование способов получения кредитов, их материального и правового обеспечения, анализ возврата кредита, исследование документального оформления наличных и безналичных расчетов, - и другие методы.

43 Иные методы структурный анализ: выявление логических ошибок и несоответствий в тексте документа; мотивационный анализ: анализ мотивов, которые подвигли авторов на разработку проекта, сопоставление содержания документа и его реальных (не декларируемых) результатов; анализ обоснований: сопоставление обоснования документа с независимыми статистическими данными, выявление уровня компетентности исполнителей документа и охвата обосновывающей информации; анализ на инновационность: сравнение предложенных в документе идей и методов с применяемыми в современной практике; технологический анализ - сравнение применяемых технологий со всем набором современных технологий, потенциально доступных для объекта экспертной оценки; деловая игра по практике применения данного нормативного правового акта для исследования процедуры выполнения, указанной в акте; иные методы, применяемые в практике оценки (evaluation).

44 ПРАКТИКУМ Задание: - Разделиться на 6 групп (5 основных и 1 дополнительная); -Каждая из 5 групп выбирает одну из перечисленных ниже тем, выбирает соответствующий теме метод сбора информации, определяет и обосновывает выборку для опроса, разрабатывает один инструмент (кратко); -От каждой группы 1 представитель кратко докладывает о результатах работы; -6-я группа проводит наблюдение за ходом работы (по одному наблюдателю на каждую из 5 групп) и затем характеризует общие впечатления о работе групп.

45 Темы экспертных заключений: 1)Эффективность реализации закона о «монетизации» льгот в сфере ЖКХ, 2)Ход реализации областной программы развития туризма; 3)Уровень жизни молодежи; 4)Эффективность финансовой поддержки НКО со стороны органов МСУ; 5)Эффективность областной политики в сфере культуры.