Информационно- аналитическая работа. Часть 2 Экспертные системы Базы знаний Аналитическое ПО Интернет. - презентация

1 Информационно- аналитическая работа. Часть 2 Экспертные системы Базы знаний Аналитическое ПО Интернет

2 Ключевые понятия Знания Знания Принятие решений Принятие решений Дерево решений Дерево решений Экспертная система Экспертная система База знаний База знаний Аналитическое ПО Аналитическое ПО Интернет Интернет

3 Информационно-аналитическая работа. Определения Знания - вид информации, отражающей опыт специалиста (эксперта) в определенной предметной области, его понимание множества текущих ситуаций и способы перехода от одного описания объекта к другому. Знания - вид информации, отражающей опыт специалиста (эксперта) в определенной предметной области, его понимание множества текущих ситуаций и способы перехода от одного описания объекта к другому.

4 2 типа знаний Знания, которыми обладает специалист в какой-либо области (дисциплине), можно разделить на: Знания, которыми обладает специалист в какой-либо области (дисциплине), можно разделить на: формализованные (точные) иформализованные (точные) и неформализованные (неточные).неформализованные (неточные).

5 2 типа дисциплин и задач В зависимости от того, какие знания преобладают в той или иной области (дисциплине), её относят к формализованным или неформализованным описательным областям. В зависимости от того, какие знания преобладают в той или иной области (дисциплине), её относят к формализованным или неформализованным описательным областям. Задачи, решаемые на основе точных знаний, называются формализованными, аЗадачи, решаемые на основе точных знаний, называются формализованными, а задачи, решаемые с помощью неточных знаний, - неформализованные.задачи, решаемые с помощью неточных знаний, - неформализованные.

6 Неформализованные задачи Традиционное программирование в качестве основы для разработки программы использует алгоритмы, т.е. формализованное знание. Поэтому до недавнего времени считалось, что ЭВМ не приспособлены для решения неформализованных задач. Традиционное программирование в качестве основы для разработки программы использует алгоритмы, т.е. формализованное знание. Поэтому до недавнего времени считалось, что ЭВМ не приспособлены для решения неформализованных задач.

7 Неформализованные задачи Расширение сферы использования ЭВМ показало, что неформализованные задачи составляют очень важный класс задач, вероятно, значительно больший, чем класс формализованных задач. Расширение сферы использования ЭВМ показало, что неформализованные задачи составляют очень важный класс задач, вероятно, значительно больший, чем класс формализованных задач.

8 Неформализованные задачи К неформализованным задачам относятся те, которые обладают одной или несколькими из следующих особенностей: К неформализованным задачам относятся те, которые обладают одной или несколькими из следующих особенностей: алгоритмическое решение задачи неизвестно (хотя, возможно, и существует) или не может быть использовано из-за ограниченности ресурсов ЭВМ;алгоритмическое решение задачи неизвестно (хотя, возможно, и существует) или не может быть использовано из-за ограниченности ресурсов ЭВМ; -->-->

9 Неформализованные задачи К неформализованным задачам относятся те, которые обладают одной или несколькими из следующих особенностей: К неформализованным задачам относятся те, которые обладают одной или несколькими из следующих особенностей: задача не может быть определена в числовой форме (требуется символьное представление);задача не может быть определена в числовой форме (требуется символьное представление); цели задачи не могут быть выражены в терминах точно определенной целевой функции.цели задачи не могут быть выражены в терминах точно определенной целевой функции.

10 Неформализованные задачи Как правило, неформализованные задачи обладают неполнотой, ошибочностью, неоднозначностью и (или) противоречивостью знаний. Как правило, неформализованные задачи обладают неполнотой, ошибочностью, неоднозначностью и (или) противоречивостью знаний.

11 Экспертные системы Экспертная система - система искусственного интеллекта, включающая знания об определенной слабо структурированной и трудно формализуемой узкой предметной области и способная предлагать и объяснять пользователю разумные решения. Экспертная система состоит из базы знаний, механизма логического вывода и подсистемы объяснений. Экспертная система - система искусственного интеллекта, включающая знания об определенной слабо структурированной и трудно формализуемой узкой предметной области и способная предлагать и объяснять пользователю разумные решения. Экспертная система состоит из базы знаний, механизма логического вывода и подсистемы объяснений.

12 Экспертные системы (ЭС) ЭС ориентированы на решение неформализованных задач и обладают следующими особенностями: ЭС ориентированы на решение неформализованных задач и обладают следующими особенностями: алгоритм решения не известен заранее, а строится самой ЭС с помощью символических рассуждений, базирующихся на эвристических приемах;алгоритм решения не известен заранее, а строится самой ЭС с помощью символических рассуждений, базирующихся на эвристических приемах; яркость полученных решений, т.е. система "осознает" в терминах пользователя, как она получила решение;яркость полученных решений, т.е. система "осознает" в терминах пользователя, как она получила решение; …->…-> …->">

13 Экспертные системы (ЭС) способность анализа и объяснения своих действий и знаний;способность анализа и объяснения своих действий и знаний; способность приобретения новых знаний от пользователя-эксперта, не знающего программирования, и изменение в соответствии с теми своего поведения;способность приобретения новых знаний от пользователя-эксперта, не знающего программирования, и изменение в соответствии с теми своего поведения; обеспечение "дружественного", как правило, естественно-языкового интерфейса.обеспечение "дружественного", как правило, естественно-языкового интерфейса.

14 База знаний в ЭС Ценность конкретной ЭС определяет база знаний, содержание которой накапливается в процессе ее построения. Знания состоят из понятий, которые имеют имя, структуру и набор признаков, связей между понятиями и утверждений о свойствах понятий. Ценность конкретной ЭС определяет база знаний, содержание которой накапливается в процессе ее построения. Знания состоят из понятий, которые имеют имя, структуру и набор признаков, связей между понятиями и утверждений о свойствах понятий.

15 В ЭС содержание базы знаний часто разделяют на факты (элементарные единицы знаний) и правила (т.е. связи, зависимости между фактами и их комбинациями). В ЭС содержание базы знаний часто разделяют на факты (элементарные единицы знаний) и правила (т.е. связи, зависимости между фактами и их комбинациями). База знаний в ЭС

16 Необходимо отметить, что кроме описанного вида знаний, которое называют неалгоритмическим, в традиционных компьютерных системах присутствует алгоритмические знания в виде процедур, программ, решающих определенные задачи. Необходимо отметить, что кроме описанного вида знаний, которое называют неалгоритмическим, в традиционных компьютерных системах присутствует алгоритмические знания в виде процедур, программ, решающих определенные задачи. База знаний в ЭС

17 Существует несколько моделей представления знаний, используемых в интеллектуальных, в частности, экспертных системах. Существует несколько моделей представления знаний, используемых в интеллектуальных, в частности, экспертных системах. База знаний в ЭС

18 Свойства знаний внутренняя интерпретируемость (каждая информационная единица имеет уникальное имя, по которому система ее находит и отвечает на запросы, в которых это имя используется); внутренняя интерпретируемость (каждая информационная единица имеет уникальное имя, по которому система ее находит и отвечает на запросы, в которых это имя используется);

19 Свойства знаний структурированность (одни информационные единицы включаются в состав других); структурированность (одни информационные единицы включаются в состав других); связность (можно задавать структурные, функциональные, временные, каузальные, пространственные отношения между информационными единицами); связность (можно задавать структурные, функциональные, временные, каузальные, пространственные отношения между информационными единицами);

20 Свойства знаний семантическая метрика (можно задать отношения, определяющие ситуационную близость, ассоциативные связи между информационными единицами); семантическая метрика (можно задать отношения, определяющие ситуационную близость, ассоциативные связи между информационными единицами); активность (выполнение программы может инициироваться текущим состоянием информационной базы, например, появлением новых фактов или связей). активность (выполнение программы может инициироваться текущим состоянием информационной базы, например, появлением новых фактов или связей).

21 Классификация ЭС ЭС как любой сложный объект можно определить только совокупностью характеристик: ЭС как любой сложный объект можно определить только совокупностью характеристик: назначение;назначение; проблемная область;проблемная область; глубина анализа проблемной области;глубина анализа проблемной области; тип используемых методов и знаний;тип используемых методов и знаний; класс системы;класс системы; стадия существования;стадия существования; инструментальные средства.инструментальные средства.

22 Классификация по назначению цель создания ЭС цель создания ЭС для обучения специалистов,для обучения специалистов, для решения задач,для решения задач, для автоматизации рутинных работ,для автоматизации рутинных работ, для тиражирования знаний экспертов и т.п.;для тиражирования знаний экспертов и т.п.;

23 Классификация по назначению основной пользователь основной пользователь не специалист в области экспертизы,не специалист в области экспертизы, специалист,специалист, учащийся.учащийся.

24 Классификация по областям интерпретация символов или сигналов - составление смыслового описания по входным данным; интерпретация символов или сигналов - составление смыслового описания по входным данным; предсказание - определение последствий наблюдаемых ситуаций; предсказание - определение последствий наблюдаемых ситуаций; диагностика - определение неисправностей (заболеваний по симптомам); диагностика - определение неисправностей (заболеваний по симптомам); конструирование - разработка объекта с заданными свойствами при соблюдении установленных ограничений; конструирование - разработка объекта с заданными свойствами при соблюдении установленных ограничений;

25 Классификация по областям планирование - определение последовательности действий, приводящих к желаемому состоянию объекта; планирование - определение последовательности действий, приводящих к желаемому состоянию объекта; слежение - наблюдение за изменяющимся состоянием объекта и сравнение его показателей с установленными или желаемыми; слежение - наблюдение за изменяющимся состоянием объекта и сравнение его показателей с установленными или желаемыми; управление - воздействие на объект для достижения желаемого поведения. управление - воздействие на объект для достижения желаемого поведения.

26 1-е поколение ЭС ЭС, которые лишь воспроизводят логический вывод эксперта (что недостаточно для интеллектуально сложных задач). Они функционируют только на основе знаний, полученных от эксперта. Опыт, приобретаемый в процессе эксплуатации не накапливается и не применяется. Система не обучается. ЭС, которые лишь воспроизводят логический вывод эксперта (что недостаточно для интеллектуально сложных задач). Они функционируют только на основе знаний, полученных от эксперта. Опыт, приобретаемый в процессе эксплуатации не накапливается и не применяется. Система не обучается.

27 1-е поколение ЭС используется лишь одна модель представления знаний; используется лишь одна модель представления знаний; отсутствуют знания о границах применимости системы (области ее компетентности). Скачкообразная потеря способности находить решение на выходе за пределы. отсутствуют знания о границах применимости системы (области ее компетентности). Скачкообразная потеря способности находить решение на выходе за пределы. реализация вывода только при условии полноты знаний и данных, отсутствие средств работы с.неполными знаниями; реализация вывода только при условии полноты знаний и данных, отсутствие средств работы с.неполными знаниями; отсутствие средств настройки на конкретного пользователя; отсутствие средств настройки на конкретного пользователя; жесткость диалога. жесткость диалога.

28 2-е поколение ЭС (партнерские системы) использование знаний не только в виде эвристических правил, но и теории предметных областей, знания организованы в виде составных иерархических представлений использование знаний не только в виде эвристических правил, но и теории предметных областей, знания организованы в виде составных иерархических представлений

29 2-е поколение ЭС (партнерские системы) Представления: Представления: модель самой ЭС (для определения границ компетентности); сочетание достоверного и правдоподобного вывода, возможность немонотонных рассуждений, когда поступившие факты могут изменить истинность ранее выведенных заключений;модель самой ЭС (для определения границ компетентности); сочетание достоверного и правдоподобного вывода, возможность немонотонных рассуждений, когда поступившие факты могут изменить истинность ранее выведенных заключений;

30 2-е поколение ЭС (партнерские системы) Представления: Представления: модель пользователя (для организации взаимодействия с ним в оптимальной форме);модель пользователя (для организации взаимодействия с ним в оптимальной форме); средства автоматического обнаружения закономерностей и анализ имеющихся знаний.средства автоматического обнаружения закономерностей и анализ имеющихся знаний.

31 2-е поколение ЭС (партнерские системы) Для разрешения противоречий система может сама обратиться к пользователю за недостающими данными. Для разрешения противоречий система может сама обратиться к пользователю за недостающими данными. Активность - важнейшее свойство ЭС 2-го поколения. Активность - важнейшее свойство ЭС 2-го поколения. Системы 2-го поколения начали создаваться примерно в 1990 г. Системы 2-го поколения начали создаваться примерно в 1990 г.

32 Семантические сети Семантика - раздел языкознания и логики, исследующий проблемы, связанные со смыслом, значением и интерпретацией лексических единиц. Семантика - раздел языкознания и логики, исследующий проблемы, связанные со смыслом, значением и интерпретацией лексических единиц. Семантика - в программировании - система правил истолкования отдельных языковых конструкций. Семантика определяет смысловое значение предложений алгоритмического языка. Семантика - в программировании - система правил истолкования отдельных языковых конструкций. Семантика определяет смысловое значение предложений алгоритмического языка.

33 Семантические сети Семантическая сеть – это модель, в которой структура знаний предметной области формализуется в виде ориентированного графа с помеченными вершинами и дугами. Вершины графа обозначают понятия различных категорий: объекты, события, свойства, операции, а дуги – отношения между ними. Семантическая сеть – это модель, в которой структура знаний предметной области формализуется в виде ориентированного графа с помеченными вершинами и дугами. Вершины графа обозначают понятия различных категорий: объекты, события, свойства, операции, а дуги – отношения между ними.

34 Процессоры сбора данных Для глобальных исследований в Интернете используются специальные семантические процессоры, «процессоры сбора данных». В данном контексте термин «процессор» не имеет ничего общего с микропроцессором, это часть программы, которая определяет, каким образом сама программа управляет и манипулирует данными. Для глобальных исследований в Интернете используются специальные семантические процессоры, «процессоры сбора данных». В данном контексте термин «процессор» не имеет ничего общего с микропроцессором, это часть программы, которая определяет, каким образом сама программа управляет и манипулирует данными.

35 Процессоры сбора данных Процессор сбора данных использует программное обеспечение, получившие название «робот»: «робот» извлекает нужную информацию, используя целый арсенал средств лингвистического, семантического и статистического анализа. Действуя автономно, процессоры сбора данных перехватывают любую запрашиваемую информацию, как только она появится в Интернете. Процессор сбора данных использует программное обеспечение, получившие название «робот»: «робот» извлекает нужную информацию, используя целый арсенал средств лингвистического, семантического и статистического анализа. Действуя автономно, процессоры сбора данных перехватывают любую запрашиваемую информацию, как только она появится в Интернете.

36 Процессоры сбора данных Самым первым был рассекречен французский процессор «Taiga» («Traitement automatique de linformation geopolitique dactualite», «автоматическая обработка актуальной геополитической информации»). Этот программный комплекс первоначально разрабатывался для нужд французской разведки, где он трудился в течение 11 лет, после чего был передан для коммерческого использования.

37 Процессор «Taiga» Задачи, которые перед ним ставят теперь уже гражданские специалисты остались теми же: обзор Интернета для извлечения ценной информации из баз данных о патентах, сообщений информационных агентств и публикаций о научных конференциях.

38 Noemic «Noemic», сменивший «Taiga» на боевом посту, не только сканирует, но и автоматически осуществляет «объединение источников», обрабатывая полученную информацию со скоростью одного миллиона документов в секунду независимо от того, существуют ли она в виде готовой базы данных или, например, передается электронным агентством новостей на любом языке в виде целостного текста.

39 Noemic Этот семантический процессор сбора данных способен также подвергать обработке заслуживающие его внимания концепции, метафоры и совокупности идей. Если перед ним поставить задачу выявить, например, все случаи установления связей между гонконгскими и американскими фирмами, действующими в области микроэлектроники, за последние пять лет, то для ее выполнения ему хватит всего несколько часов.

40 Topic Американский аналог этих программных комплексов, который называется "Topic", также первоначально разрабатывался для нужд разведки. Данная система появилась на свет в результате длительных исследовательских работ, осуществлявшихся под контролем ЦРУ. Американский аналог этих программных комплексов, который называется "Topic", также первоначально разрабатывался для нужд разведки. Данная система появилась на свет в результате длительных исследовательских работ, осуществлявшихся под контролем ЦРУ.

41 Topic Сегодня он также передан в коммерческое использование и все права на него принадлежат калифорнийской фирме "Verity", мирового лидера по сбору документальных данных. Сегодня он также передан в коммерческое использование и все права на него принадлежат калифорнийской фирме "Verity", мирового лидера по сбору документальных данных.

42 Интернет «ARPANet» - Научная сеть американского агентства оборонных исследований «ARPANet» - Научная сеть американского агентства оборонных исследований 1969: 1969: Август: Стэнфорд – 520 км – Калифорнийский университет в Лос- АнджелесеАвгуст: Стэнфорд – 520 км – Калифорнийский университет в Лос- Анджелесе Декабрь: университеты в Санта-Барбаре и ЮтеДекабрь: университеты в Санта-Барбаре и Юте Октябрь 1977 – ARPAnet объединяется с региональными сетями Октябрь 1977 – ARPAnet объединяется с региональными сетями

43 Интернет 1983 – перевод ARPANet на протокол передачи данных TCP/IP (используется в настоящее время) 1983 – перевод ARPANet на протокол передачи данных TCP/IP (используется в настоящее время) 1989: 1989: Тим Бернерс-Ли разработал язык HTML и предложил протокол «WWW – World Wide Web»Тим Бернерс-Ли разработал язык HTML и предложил протокол «WWW – World Wide Web»

44 Интернет 1993, Марк Андреесен - первый графический броузер Мозаик 1993, Марк Андреесен - первый графический броузер Мозаик 2005 – пользователей во всем мире 2005 – пользователей во всем мире Октябрь 1993 – 200 Web-серверов Октябрь 1993 – 200 Web-серверов 2005 – серверов 2005 – серверов

45 Назначение Интернет Изначально – обмен научными данными Изначально – обмен научными данными В настоящий момент – накопление и обмен любой информацией, виртуальные представительства различных организаций (коммерческих и некоммерческих), развлечения, поиск информации В настоящий момент – накопление и обмен любой информацией, виртуальные представительства различных организаций (коммерческих и некоммерческих), развлечения, поиск информации

46 Поисковые системы Многие современные поисковые системы основаны на хорошо известных методах и алгоритмах, разработанных еще до появления Интернет. Многие современные поисковые системы основаны на хорошо известных методах и алгоритмах, разработанных еще до появления Интернет. 1-е поколение – Индексация (до 1997)1-е поколение – Индексация (до 1997) 2-е поколение - Морфологический анализ (н.в.)2-е поколение - Морфологический анализ (н.в.) 3-е поколение – Семантический анализ (с 2004 г. – первые проекты)3-е поколение – Семантический анализ (с 2004 г. – первые проекты)

47 Поисковые системы Общая задача информационного поиска в Интернет не изменилась - - необходимо найти релевантные запросу документы, т.е. документы, соответствующие информационной потребности пользователя. Общая задача информационного поиска в Интернет не изменилась - - необходимо найти релевантные запросу документы, т.е. документы, соответствующие информационной потребности пользователя.

48 Поисковые системы Природа Интернет влечет изменение постановки задачи поиска и обуславливает необходимость разработки новых методов обработки полученных данных с целью сужения области поиска. Природа Интернет влечет изменение постановки задачи поиска и обуславливает необходимость разработки новых методов обработки полученных данных с целью сужения области поиска.

49 Поисковые системы Одним из методов, позволяющих пользователю найти нужную информацию в Интернете является кластеризация полученных документов. Системы, обеспечивающие кластеризацию полученных документов реализованы для английского языка Одним из методов, позволяющих пользователю найти нужную информацию в Интернете является кластеризация полученных документов. Системы, обеспечивающие кластеризацию полученных документов реализованы для английского языка

50 Новые направления развития Интернет Internet-2, Grid, Semantic Web Internet-2, Grid, Semantic Web Стандартные средства разметки HTML- страниц позволяют довольно точно определить внешний вид документа, но описать данные с их помощью нельзя.Стандартные средства разметки HTML- страниц позволяют довольно точно определить внешний вид документа, но описать данные с их помощью нельзя.

51 Новые направления развития Интернет Internet-2, Grid, Semantic Web Internet-2, Grid, Semantic Web Концепция Semantic Web предполагает дополнительную смысловую, семантическую разметку страницы, что должно облегчить автоматический анализ веб- страниц.Концепция Semantic Web предполагает дополнительную смысловую, семантическую разметку страницы, что должно облегчить автоматический анализ веб- страниц.

52 Новые направления развития Интернет Internet-2 Internet-2 Консорциум из 200 крупных университетов и компанийКонсорциум из 200 крупных университетов и компаний Минимальная скорость – 100 МБит/сек.Минимальная скорость – 100 МБит/сек. В Интернет – мин. скорость модема – МБит./сек, средняя скорость подключения – МБит./сек)

53 Новые направления развития Интернет PlanetLab PlanetLab PlanetLab использует инфраструктуру Интернета для передачи информации, однако с современным Интернетом имеет мало общего, поскольку воплощает довольно старую идею «компьютер это сеть».PlanetLab использует инфраструктуру Интернета для передачи информации, однако с современным Интернетом имеет мало общего, поскольку воплощает довольно старую идею «компьютер это сеть».

54 Новые направления развития Интернет PlanetLab PlanetLab Работая с компьютером, подключенным к PlanetLab, пользователь по умолчанию получает доступ к вычислительным мощностям остальных участников Сети.Работая с компьютером, подключенным к PlanetLab, пользователь по умолчанию получает доступ к вычислительным мощностям остальных участников Сети. Компьютер = терминал, но «мэйнфрейм» для него – не суперкомпьютер, а все остальные терминалы.Компьютер = терминал, но «мэйнфрейм» для него – не суперкомпьютер, а все остальные терминалы.

55 Новые направления развития Интернет OceanStore OceanStore С каждого «узла» ВСЕ данные по частям передаются на соседние =>С каждого «узла» ВСЕ данные по частям передаются на соседние => В случае отказа одного узла, вся, хранящаяся на нем информация будет доступна.В случае отказа одного узла, вся, хранящаяся на нем информация будет доступна.