Тема 4. Технология коллективной подготовки и принятия управленческих решений на основе экспертных методов РОССИЙСКАЯ АКАДЕМИЯ ГОСУДАРСТВЕННОЙ СЛУЖБЫ ПРИ ПРЕЗИДЕНТЕ РОССИЙСКОЙ ФЕДЕРАЦИИ Дисциплина: « Информационные технологии в государственном и муниципальном управлении » Доктор технических наук, профессор Павлов Алексей Николаевич

Причины использования мнений экспертов Использование мнений экспертов для подготовки и выработки управленческого решения обусловлено несколькими обстоятельствами. 1.Рассматриваемые проблемы, альтернативы возможных решений, прогнозы на будущее, не всегда сопровождаются полной и достоверной информацией. 2.При выборе окончательного решения, из предложенных альтернатив, необходимо учитывать мнение большинства специалистов, которые обладают опытом работы в предметной области, к которой относится рассматриваемая проблема. 3.Качество принимаемого решения во многом зависит от факторов внешней среды, которые не всегда возможно учесть при построении математической модели. 4.В условиях неопределенности (отсутствие достаточной информации), ответственное лицо за подготовку и принятие управленческого решения стремится снизить риск, за счет получения дополнительной информации от экспертов. В случаях, когда имеется возможность количественной оценки значений целевой функции и задача хорошо формализуема – привлекать экспертов нецелесообразно.

Условия проведения экспертизы Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий: экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы; в работе экспертной комиссии не должно быть факторов, которые могли бы влиять на искренность суждений экспертов (мнения экспертов должны быть независимыми); вопросы, поставленные перед экспертами, не должны допускать различного толкования; эксперты должны быть компетентны в решаемых вопросах; количество экспертов должно быть оптимальным; ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Направления работы с экспертами Оценка текущей ситуации или событий, которые происходят с процессом или объектом Прогнозирование развития процессов или поведения системы на будущее Разработка вариантов решения проблемы Выбор подходящего решения из нескольких Формирование требований или параметров для описания процесса, объекта Упорядочивание объектов по определенным критериям Сбор предложений о поведении объекта или развития процесса в будущем Обсуждение вариантов возможного поведения системы или изменения процесса Цели проведения экспертизы

Этапы процесса проведения экспертизы Подготовка Проведение экспертизы Обработка данных Анализ результатов Публикация результатов Подготовка предложений Использование результатов Постановка задачи Подбор экспертов Выбор метода Обучение работе Назначение сроков Разъяснение цели Контроль работы Сбор материалов Процесс организации экспертизы условно разделяется на три фазы (подготовка, проведение, использование), продолжительность каждой фазы зависит от степени подготовленности экспертов, выбранной методики проведения экспертизы и назначения материалов для дальнейшей работы Подготовка Проведение Использование t

Функции организатора процесса Задание на проведение опроса экспертов Готовое предложение Представление проблемы и формулировка задачи, которую решают эксперты 2. Выбор методики проведения экспертизы и формулировка правил ее проведения 3. Формирование группы экспертов, которые являются компетентными специалистами в представленной проблеме 4. Оповещение экспертов о целях проведения экспертизы, сроках, правил и условий их участия 5. Подготовка и распространение анкет среди экспертов 6. Сбор и обработка материалов, представленные экспертами 7. Анализ результатов и выработка предложений по использованию Календарный график выполнения работ организатором проведения экспертного оценивания

Распределение затрат времени организатора проведения экспертного оценивания Затраты времени, которые можно сократить за счет внедрения CASE- средств и сетевых технологий для проведения экспертного оценивания Практика использования программных средств для поддержки работы специалистов в режиме удаленного доступа с экспертными системами показывает: 1. Специалисты быстро адаптируются к условиям самостоятельной работы в сети. 2. У руководителя проведения экспертизы снижаются затраты времени на организационные мероприятия.

Подбор экспертов Случайный выбор Выбор по категориям Подбор противоположностей Выбор по методу самооценки Выбор методом оценки группой Выбор на основе имеющихся сведений по предыдущей работе Эксперт – лицо, обладающее специальными знаниями в определенной предметной области, опытом работы, независимостью суждений при выработке рекомендаций или оценке сложившейся ситуации.

Главные черты идеального эксперта Креативность – способность решать творческие задачи, метод решения которых пока неизвестен Эвристичность – способность видеть или создавать неочевидные проблемы Интуиция – способность делать заключение об исследуемом объекте без осознания пути движения мысли к этому заключению Предикативность – способность предвидеть или предугадывать будущее состояние исследуемого объекта Независимость – способность противопоставлять предубеждениям и массовым мнениям свое собственное Всесторонность – способность видеть проблему с различных точек зрения

Направления при организации проведения экспертного оценивания 0,12 0,65 0,23 2. Рассматривают несколько альтернатив Необходимо оценить вероятность риска принятия альтернативы или вероятность наступления события в будущем Объекты, альтернативы, варианты решения проблемы Коллективная оценка экспертов или данные, полученные от респондентов 1. Рассматривается один объект Наименование объекта Наименования факторов, которые характеризуют объект Необходимо выбрать или указать главенствующие показатели, которые относятся к факторам, описывающие исследуемый объект Эксперты выбирают, предлагают наиболее подходящие показатели для каждого фактора Показатели

Последовательность организации проведения экспертного оценивания 1. Вопросы рассматриваются последовательно К1 {А1, А3}; К2 {А2, А4} - Группировка объектов К1 {А1, А3}; К2 {А2, А4} П {А2, А4} - Отсеивание объектов П {А2, А4} I – A4; II – A2; - Ранжирование объектов I – A4; II – A2; III – A1; IV – A3 III – A1; IV – A3 Выбор объектов на основании большинства голосов Количественная или качественная оценка объектов 2. Объекты рассматриваются одновременно % А1 А2 А3 А4 Цели и результаты Варианты рассмотрения вопросов, проблем

Направления проведения экспертиз Упорядочивание Конструирование Оценка состояния Проектирование Выбор варианта Рассматривается один объект и множество его признаков Рассматриваются множество объектов с однотипными параметрами Независимые параметры Объект Воздействия Внутренние и внешние, которые бывают: случайными, повторяющимися и вызванные при определенных обстоятельствах.

Ожидаемые результаты при работе с экспертами Цель работы с экспертами Действия экспертаСпособ представления материалов экспертом Собрать предложения по наиболее важным факторам, которые влияют на процесс Дать словесные или численные пояснения по рассматриваемому фактору Опросный лист с несколькими вопросами Получить мнение большинства голосов Для каждого рассматриваемого фактора в анкете отметить собственное мнение Анкета содержит готовые варианты ответов по каждому фактору: «ЗА», «ПРОТИВ», «ВОЗДЕРЖАЛСЯ» Выделить лидера среди множества факторов (объектов) Расставить приоритеты среди рассматриваемых факторов Анкета с перечнем независимых факторов Оценить вероятность свершения события в будущем Указать численную характеристику для каждого рассматриваемого объекта Опросный лист с перечнем объектов и условиями их изменения в будущем Сформировать устойчивые группы объектов по определенным признакам Оценить признаки объектов, которые являются яркими представителями определенного класса Анкета с перечнем вопросов и вариантов готовых ответов по каждому, рассматриваемому объекту

Организация обсуждений с экспертами Обсуждение Голосование Сбор предложений По этапам (отдельно каждый вопрос) В конце работы по итогам совещания Совещание в виде конференции Совещание в формате «Круглый стол» Генерация идей Дискуссия в формате «Мозговой штурм» Сбор и анализ предложений Распределение предпочтений. Выбор наиболее приемлемого варианта. Набор альтернатив. Направления выхода из критической ситуации. Прогноз развития события. Согласование направлений действий. Распределение обязанностей.

Анализ согласованности мнений экспертов Глобальная проверка согласованности всей совокупности мнений экспертов Местная проверка согласованности мнения эксперта со всеми остальными Индивидуальная проверка правильности использования шкалы оценок одним экспертом Вычисление коэффициента конкордации и его статистическая оценка Появляется возможность определить группу экспертов, чьи мнения отличаются от мнений других Эксперт 1 Эксперт 2 …………. Эксперт j …………. Эксперт m Совокупное мнение экспертов 1) удовлетворяет порогу значимости 2) Не удовлетворяет порогу значимости Принять результаты экспертного опроса 1)Изъять некоторые мнения экспертов 2)Повторить процедуру В соответствии с установленными правилами проводит оценивание объектов (факторов) и передает заполненную анкету для анализа организатору экспертного оценивания Вычисление парных коэффициентов корреляции и их статистическая оценка Позволяет выявить, в чем проявляется несогласие эксперта по отношению к группе экспертов Коэффициент корреляции по совокупности всех оценок одного эксперта либо ниже среднего значения, либо находится в пределах допустимого Принять результаты экспертного опроса Предложить эксперту повторно заполнить анкету для голосования Вычисление коэффициента согласованности и его статистическая оценка Позволяет выявить ошибки эксперта при заполнении анкет при использовании определенной шкалы оценок Коэффициент отношения согласованности оценок эксперта либо превышает 10% барьер, либо нет Принять результаты экспертного опроса Предложить эксперту проверить оценки и откорректировать

Шкалы измерений относительной важности объектов Рис. 1. Пример отображения дискретной шкалы отношений с шагом интенсивности 1 Рис. 2. Пример отображения непрерывных шкал отношений в виде линейной и нелинейной функции A1A2A3A4 Эксперту необходимо руководствоваться предложенной шкалой для оценки рассматриваемого объекта

Определение согласованности мнений экспертов При подборе экспертов большое внимание уделяется согласованности их мнений. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации. где S – сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов, n – число экспертов, m – число объектов экспертизы.

Оценка согласованности мнений экспертов Распределение для 3- х оцениваемых объектов W*=0,3758 Распределение для 7- ми оцениваемых объектов W*=0,2528 При значении W r > W* гипотеза о согласованном мнении принимается

Метод ранжирования (методология) Проекты и их описание Шкала порядков Ранговая шкала Распределение мест проектов Эксперты исследуют характеристики проектов. Выставляют интегральную оценку по каждому проекту, используя порядковую шкалу измерения. Оценки заменяются рангами (порядковыми номерами). Ранги суммируются, что дает возможность выявить общее мнение экспертов. 1.Непосредственное оценивание 2.Использование промежуточной шкалы для оценивания объектов

Обработка результатов ранжирования объектов Иссле дова- тели (m) Факторы (n=10) X1X1 X2X2 X3X3 X4X4 X5X5 X6X6 X7X7 X8X8 X9X9 X 10 Э138, ,56 6+6=12 Э2Э23781,5101,5945,5 6+6=12 Э3Э33861, =30 Э4Э42,58,561102,58, =12 Э5Э546, ,535 6 Σ ранг 15,538,537,57478,544,52624,526 Откл ,519, ,5-3-1, ,25380, ,259 S=1829 Место При равенстве баллов, ставят среднее значение места (ранга)

Идеология создания анкеты для опроса экспертов Рассматриваемая проблема Объект исследования Параметры объекта (факторы) Наименования показателей факторов Значения показателей... Модель опросного листа представляется в виде иерархической структуры, что позволяет формировать простые и сложные анкеты для решения разнообразных задач. Z11Z11 Z21Z21 Z31Z31 Z1iZ1i Z1iZ1i Z1iZ1i ZknZkn P11P11 P21P21 P31P31 P1iP1i P2iP2i P1nP1n PknPkn F1F1 FiFi FnFn U

Работа по подготовке анкеты 1. Постановка задачи 2. Модель анкеты Объект Фактор Наименование При использовании одного фактора, модель анкеты содержит три уровня Организатор

Пример разработки сложной анкеты Базовая модель изделия Собственная разработка Лицензия фирмы Зарубежный аналог Назначение продукции Промышленная Использ. в быту Финансирование работ Инвестор со стороны Кредит в банке Собственные средства Проект производства нового вида продукции

Работа эксперта со сложной анкетой Эксперту предлагается последовательно рассмотреть параметры каждого фактора на отдельной анкете и сделать свой выбор.

Представление данных в таблице объект-признак Обозначение факторов, их наименований и значений F1F1 F2F2 P11P11 P21P21 P12P12 P22P22 P32P32 Z11Z11 Z21Z21 Z12Z12 Z22Z22 Z32Z32 Z11Z11 Z21Z21 Z12Z12 Z22Z22 Z32Z32 Z42Z42 Z13Z13 Z23Z23 Z33Z33 X1X X2X X3X X4X X5X Σ Модель признака (показателя) P 2 1 для фактора F 1 Модель объекта, представленная j- ым экспертом ЭкспертыЭксперты

Проблемы многокритериального выбора A1 A2 A3 Альтернативы A1A2A3 K1Цена [Руб.] K2Функциональность [К-во]431 K3Процент отказов [%]342 K4Распространенность [У.е.]124 A1A2A3 K1K2K3K4 Цель: выбрать наилучший вариант из предложенных с учетом набора критериев, по которым оцениваются альтернативы

Метод анализа иерархий Одним из популярных методов анализа сложных социально- политических и экономических проблем, достаточно широко применяющийся в настоящее время, является, так называемый, метод анализа иерархий (МАИ - Analytic Hierarchy Process ). Указанный метод, разработан видным американским специалистом по теории принятия решений Томасом Саати. Альтернативы Критерии Цель Кластеры Акторы В основе метода пред- ложено использовать парное сравнение объектов, которые располагаются на нескольких уровнях иерархической струк-туры модели исследова-ния. Парные сравнения позволяют выявить рейтинг каждого объекта в количественном выражении. Метод позволяет провести анализ проблемы. При этом проблема принятия решения представляется в виде иерархически упорядоченных уровней. Метод позволяет оценить противоречивость данных и минимизировать ее. Метод позволяет провести синтез проблемы принятия решения. После того, как проведен анализ проблемы и собраны данные по всем кластерам, по специальному алгоритму рассчитывается итоговый рейтинг - набор приоритетов альтернативных решений.

Необходимость ввода ограничений при решении практических задач с экспертами Объекты, которые удовлетворяют всем 3-м условиям Объекты, которые удовлетворяют только 2-м условиям Объекты, которые удовлетворяют всего 1-му условию Граница отбора объектов, которые удовлетворяют одному условию (ограничению) Набор объектов, которые удовлетворяют всем поставленным условиям Меньше какого-то значения Параметры больше определенной величины Задан интервал

Шкала относительной важности для измерения значимости объектов друг относительно друга ИнтенсивностьОпределениеОбъяснение 0 НезависимыЭксперт затрудняется в сравнении объектов 1 Равная важностьРавный вклад сравниваемых объектов (объекты эквивалентны, по мнению эксперта) 3 Умеренное превосходство одного над другим Опыт и суждения дают легкое превосходство одного объекта над другим 5 Существенное или сильное превосходство С позиции эксперта один объект примерно в два раза превосходит другой объект 7 Значительное превосходство Одному из объектов отдается предпочтение перед другим, чтобы показать его практически значимым 9 Очень сильное превосходство Эксперт на основании своего опыта выделяет объект, который сильно превосходит другой по своей значимости 2, 4, 6, 8 Промежуточные суждения между двумя соседними суждениями Эксперт применяет эти оценки при стремлении «сгладить» суждения о превосходстве одного объекта над другим

Парные сравнения объектов и вычисление вектора приоритетов (главных компонент) Пример матрица парных сравнений для объектов с установкой оценок по шкале Т. Саати Объект А1 Объект А2 Объект А3 Объект А4 Вектор приоритетов Нормализованные оценки вектора приоритетов Объект А115 1/371,848 0,302 Объект А2 1/51 30,588 0,096 Объект А335193,408 0,557 Объект А4 1/7 1/3 1/910,269 0,044 Сумма4,34211,3331,64420,006,115 1 Осуществляется парное сравнение объектов (альтернатив) по каждому критерию 1 шаг 2 шаг Осуществляется парное сравнение критериев 3 шаг Вычисляется глобальное значение значимости каждой альтернативы

Организация работы с Web-приложениями в сети Рабочее место пользователя Рабочее место организатора Web-сервер организации Подготовка к работе Контроль за процессом Участие в работе Режим реального времени предусматривает работу пользователей с интерактивными приложениями, которые хранятся на Web-сервере. Перед началом выполнения работ в сети, необходимо провести подготовительные операции, которые осуществляет организатор (администратор). Все компьютеры в сети имеют собственные IP-адреса, работают по протоколу HTTP.

По всем вопросам, связанных с содержимым представленного материала, Вы можете обратиться к автору Павлову Алексею Николаевичу. Тел.: , Электронная почта: Москва, РАГС, кафедра «Информационные технологии в управлении», ком (2-ой уч. корпус).