Варианты использования онтологий для решения прикладных задач Тузовский А.Ф. Институт «Кибернетический центр Томского политехнического университета» 1. - презентация

1 Варианты использования онтологий для решения прикладных задач Тузовский А.Ф. Институт «Кибернетический центр Томского политехнического университета» 1

2 План доклада 1.Понятие онтологических приложений. 2.Существующие классификации вариантов использования онтологий. 3. Классификация на основе базовых методов работы с онтологией. 2

3 Пример простой RDFS онтологии и RDF метаданных

4 Определение онтологического приложения Под онтологическим приложением, чаще всего, понимается прикладная программа, которая использует и получает основные преимущества от онтологии [Uschold]. Хотя концепция Semantic Web вначале рассматривалась, как расширение текущей инфраструктуры Web сети, теперь общепринято называть программное обеспечение, основанное на онтологиях, «SW application», даже если оно не предназначено для работы в глобальном масштабе (например, интранет приложение) и не интегрирует существующее содержание web сети [Mike]. 4

5 Онтологические приложения 5 Англоязычный термин Возможный русскоязычный термин Встречае мость в Google 1.semantic web application приложение семантической паутины SW applicationСП приложение ontology-based software основанное на онтологиях программное обеспечение ontology applicationонтологическое приложение semantic applicationсемантическое приложение ontology-based application основанное на онтологии приложение 520

6 Основания классификации вариантов использования онтологий 1.по областям применения 2.по сценариям использования 3.по процессам работы со знаниями 4.по типам программных систем 5.по типам конечных приложений (прикладных программ) 6.по базовым методам использования онтологий Методы работы с онтологической моделью Методы работы с метаданными 6

7 Онтологическая база знаний 7 Описание онтологий + Метаданные (контекстные + контентные) ontology knowledge base (3720) semantic knowledge base (911) semantic repository (4680)

8 Семантические метаданные 8 sisi s i1 s im … … s k1 s kn r i1 r im r ij r i1 r i2 r in Контекстные метаданные

9 (1) Классификация по областям использования [Fensel, 2003 ] 1.Корпоративный интранет и Управление знаниями; 2.E-Commerce (B2B, B2C); 3.Информационный поиск; 4.Порталы и Web сообщества. 9

10 (2) Сценарии использования [Ushold] 1.Поддержка независимых от приложений онтологий (Neutral Authoring) 2.Онтологии в качестве спецификаций (Ontology as Specification) 10

11 Сценарии использования (2) 3.Общий доступ к информации (Common Access to Information) Коммуникация между людьми; Доступ к информации используя совместную онтологию Доступ к данным посредством отображения онтологий Совместно используемые сервисы (Shared Services) 11

12 Сценарии использования (3) 4.Основанный на Онтологиях Поиск (Ontology-Based Search) Основа для семантически структурированного и организованного хранилища информации Оказание помощи в формулировке запросов Автоматическая разметка и классификация документов 12

13 (3) Классификация по поддерживаемым процессам работы со знаниями [Mike] 1.Поддержка процесса коммуникацией общение между сотрудниками разных подразделений интерфейс для организации поиска в архиве документов 2.Поддержка процесса интеграции семантический портал организационная (корпоративная) память 3.Поддержка процесса логического вывода Интеграция разнородных источников информации Использования онтологий в качестве спецификаций Мультиагентные системы 13

14 Использование онтологий в приложениях [Mike] 14 Коммуникация Интеграция Логический вывод Повышение формальности Более сложные приложения

15 (4) Классификация по типам программных систем семантический браузер ("semantic browser 5060) семантический портал ("semantic portal 21000) мульти-агентные системы (semantic multi agents 36900) семантические сервисы (semantic services 63200) семантические гриды (semantic grids 53500) semantic wiki (51200) semantic blogging (16800) 15

16 (5) Классификация по приложениям конечных пользователей [TopQuadrant] 1.Аннотирование Автоматическая разметка контента (Automated Content Tagger) - Тэги автоматически вставляются в документ на основе программного анализа информации, обычно используя методы анализа естественного языка. Заранее определенная таксономия или онтология терминов и понятий используется для организации проведения анализа. Аннотирование контента (Content Annotator) – Пользователям предоставляет возможность добавления аннотаций к электронному контенту. Под аннотациями понимаются: комментарии, заметки, пояснения и семантические тэги. 16

17 Приложения конечных пользователей (2) 2.Поиск Основанный на понятиях поиск (Concept-based Search) – Для предоставления возможностей точного и использующего понятия поиска, специфического для интересующей пользователя области, используя представление знания в разных источниках знаний (информации), как структурированных, так и не структурированных. Поиск, учитывающий контекст (Context-Aware Retriever) Улучшенные поисковые запросы (Enhanced Search Query) Поиск экспертов (Expert Locator) Навигационный поиск (Navigational Search) 17

18 Приложения конечных пользователей (3) 3.Информационная поддержка пользователей Системы автоматического ответа на вопросы (Answer Engine) Виртуальный консультант (Virtual Consultant) Доставка информации с учетом интересов пользователя (Interest-based Information Delivery) 4.Интеллектуальный интерфейс Динамический пользовательский интерфейс (Dynamic User Interface) Автоматическое форматирование (документирование) (Generative Documentation) Семантическое генерирование форм и Классификация результатов (Semantic Form Generator and Results Classifier) 18

19 Приложения конечных пользователей (4) 3.Информационная поддержка пользователей Системы автоматического ответа на вопросы (Answer Engine) Виртуальный консультант (Virtual Consultant) Доставка информации с учетом интересов пользователя (Interest-based Information Delivery) 19

20 Приложения конечных пользователей (5) 3.Выявление связей и шаблонов (Connection and Pattern Explorer) 4.Семантическое поиск и объединение сервисов (Semantic Service Discovery and Choreography) 5.Семантическая интеграция данных (Semantic Data Integrator) 6.Поддержка проектирования новой продукции (Product Design Assistant). 20

21 (6) Классификация по базовым методам использования онтологий 1.Методы работы с онтологической моделью 2.Методы работы с онтологической базой знаний 3.Методы работы с семантическими метаданными 21

22 Семантические метаданные 22 s k2 sisi s k1 Контентные метаданные sisi s i1 s im … … s k1 s kn r i1 r im r ij r i1 r i2 r in Контекстные метаданные Реификация

23 23 Семантические метаданные онтологической модели М i = {M ki ( ), M ci ( )}, где M ki ( ) – контекстные метаданные, описывающие взаимосвязи понятия с другими понятиями или литералами, M ki ( ) = (r 1 (с i, v 1 ) r 2 (с i, v 2 ) … r r (с i, v r )), M ci ( ) – контентные метаданные, описывающие знания, которые содержатся в экземпляре понятия. M сi ( ) = ({r 1 (с 1, v 1 ), k 1 } {r 2 (с 2, v 2 ), k 2 } … {p k (с k, v k ), k k }), где -r i - предикат (отношения) из онтологии ; -s i – экземпляр или понятие онтологии ; -v i - экземпляр или литерал; -k i - важность данного утверждения для объекта i.

24 Типы триплетов в контентных метаданных,,,,,,,, где C – понятие; I – экземпляр понятия; R – связь; A – атрибут; V – значение атрибута (текстовое или числовое). 24

25 Общая схема использования онтологий для решения практических задач 25 Онтология RDFS/OWL Онтологическая база знаний (RDF Triple Store) Системы логического вывода Редактор контекстных метаданных Аннотирование (контекстные метаданных) Экземпляры понятий Ресурсы информации и знаний Навигация между экземплярами понятий или ресурсами Поиск семантически близких понятий или ресурсов Классификация на основе описания иерархии рубрик Разметка текстов для задания связи с понятиями или ресурсами Поиск ассоциаций между экземплярами понятий в метаданных Интеграция разнородных баз данных и информации SPARQL RDF DIG Уровень приложения Оценка семантического подобия между контекстными и контентными метаданными. Уровень онтологий Промежуточный уровень

26 [1] Классификация по базовым методам работы с онтологической модели поиск отображений (mapping) слияние (merging & aligning) объединение верификация 26

27 [2] Классификация по базовым методам работы с онтологической базой знаний онтологические базы знаний поиск триплетов в хранилище (SPARQL) логический вывод (reasoners) 27

28 Хранение триплетов в базе данных 28 SubjectPredicateObject Хранилище триплетов это: - База данных с тремя колонками, но миллионами и миллиардами строк Может потребоваться специальный компьютер. Основные показатели: - Время получения триплетов в приложение. - Время сохранения триплетов в БД. - Время перехода к нужному элементу. Примеры проектов: Kowari 3Store Sesame RDF "Triple Store" See:

29 Существующие онтологические базы знаний 1.Коммерческие Oracle RDF Gateway (Intellidimension) 2.Свободно распространяемые Sesame Kowari 3Store... 3.Специальные 29

30 Язык запросов SPARQL Язык запросов SPARQL, стандартизирован в 2008 г. W3C – аналог SQL для RDBMS. Пример запроса вывести названия всех документов, созданных Петром Ивановым на SPARQL: PREFIX dc: PREFIX foaf: SELECT ?title WHERE { ?document foaf:name Петр Иванов. ? document dc:title ?title} 30

31 Возможности СУБД Oracle 11g по работе с семантикой 31

32 32 Архитектура системы RDF Gateway

33 33 Deductive Database Engine RDF Gateway имеет мощную дедуктивную СУБД (deductive database engine), которая изначально проектировалась для поддержки RDF. Полу-структурированная организация данной системы идеально подходит для выполнения запросов и хранения RDF триплетов. Имеет встроенную систему дедуктивного логического вывода. Данная система выполняет восходящую (bottom-up) обработку запросов, которые интегрируются по всем заданным источникам данных. Возможности логического вывода системы обеспечивают поддержку синтаксиса декларативных правил RDFQL. Данная система реализует хранение в файлах собственной структуры с возможностью полнотекстового поиска, устраняя необходимость во внешней СУБД.

34 Архитектура системы Sesame 34 RDF Model SPARQL API доступа к хранилищу HTTP Server Приложение HTTP / SPARQL protocol RDBMS Прикладные методы

35 Реляционная схема онтологической базы знаний 35

36 Компонентная архитектура онтологической базы знаний 36

37 [3] Классификация по базовым методам работы с семантическими метаданными семантическое аннотирование (semantic annotation ) семантическая навигация (semantic navigation ) выявление семантических ассоциаций (semantic association ) семантический поиск (semantic search ) семантическая классификация (semantic classification ) семантическая разметка (semantic tagging ) семантическая интеграция (semantic integration ) 37

38 Семантическая аналитика Автоматический анализ семантических метаданных Углубленный анализ и поиск разнородных объектов знаний - м иллионы сущностей и явных взаимосвязей Выявление осмысленных сложных взаимосвязей Области приложения Оценка террористических угроз Борьба с отмыванием денег Соответствие финансового состояния 38

39 Определение семантической близости Семантическая связанность Между объектами имеются различные последовательности свойств и сущностей (семантические пути) Семантическое подобие Между утверждениями в описании объектов имеется семантическое сходство 39

40 Семантическая связанность Сложные взаимосвязи между объектами Последовательность свойств соединяющих промежуточные экземпляры 40 э1э1 э5э5 э2э2 p1p1 э3э3 p2p2 э4э4 p3p3 p4p4 семантически связанные

41 Пример связанности Рассмотрим три утверждения: 1) Человек (P 1 ) участвовать_в Мероприятие ( M 1 ) 2) Организация ( O 1 ) инициирует Мероприятие ( M 1 ) 3) Организация ( O 1 ) руководить Человек (P 1 ) Экземпляры: 41 P1P1 M1M1 O1O1 P2P2 участвовать_в инициировать руководить

42 Навигация 42

43 Варианты реализации навигация в виде графа в виде табличных форм 43

44 Оценка близости (подобия) метаданных Семантическое подобие контекстных метаданных Семантическое подобие контентных метаданных 44

45 Схема семантического пространства 45 Понятие4 Понятие3 Понятие1 Метаописание Объекта1 Метаописание Объекта2 Онтология Понятие 2 Понятие N

46 Два понятия c 1 и c 2 являются семантически близкими, если [Gonzalez-Castillo] 1.c 1 является эквивалентным c 2 или 2.c 1 является подпонятием c 2 или 3.c 1 является суперпонятием понятия s, и s включается в c 2 или 4.c 1 является подпонятием прямого суперпонятия c 2, чье пересечение с c 2 является выполнимым (satisfiable). 46

47 Описание «степеней близости» 47

48 Понятия близкие понятию x 48 c0c0 c1c1 c2c2 x c3c3 с4с4 c5c5 c6c6 c7c7 d1d1 Не соответствует d3d3 d4d4 Аналогичен Не соответствует (3) (4) (2)

49 Оценка семантической близости контекстных метаданных Понятия с и d являются семантически сопоставимыми, если выполняется утверждение дескриптивной логики: 49 Проверка этих условий возможно путем формирования запросов к системе логического вывода дескриптивной логики. Match (c, d) = { c, d C |(1) (c d) |(2) (c d) |(3) ( s C | s c s d)|(4) ( s C | parent (c, s) d s K (с d) ) (5) }, где parent (c, s) определено как истина если s с { t C | с t с t с = t t = s}, иначе ложь.

50 Оценка семантической близости контентных метаданных sim С (c i, c k ) - семантическая близость понятий; sim R (r i, r y ) - семантическая близость отношений онтологий; sim I (i k, i z ) - семантическая близость контекстных метаданных экземпляров понятий; f(k l, k w ) – функция учета коэффициентов важности утверждений. 50

51 Оценки близости семантических метаданных близость понятий (множество C); близость экземпляров понятий (множество I); близость отношений (множество R); близость атрибутов (множество A); близость конкретных значений - литералов (множество V). 51

52 Вычисление семантической близости элементов онтологии Методы основаны на определении сотипности (cotopy) понятий в иерархии онтологии 52 С0С0 С1С1 С2С2 С3С3 С4С4 С5С5 С6С6 С7С7 С8С8 С9С9 С 10 С 11

53 Использование алгоритмов оценки семантической близости 53

54 Решение прикладных задач на основе оценки семантической близости 1.Семантический поиск ресурсов на основе описания запроса в виде набора метаданных 2.Классификация ресурсов на основе описания иерархической структуры с использованием метаданных 3.Формирование рекомендаций для специалистов на основе описания профилей в виде контентных метаданных 54

55 Семантическая интеграция 55 Контентные метаданные Контекстные метаданные

56 Использованные ссылки [Ushold] Uschold M., Jasper R. A Framework for Understanding and Classifying Ontology Applications [Fensel, 2003]Fensel D. Ontologies: A Silver Bullet for Knowledge Management and Electronic Commerce (2nd ed.). - Springer-Verlag, Berlin, c. [Mike] M ika P., Akkermans H. Towards a New Synthesis of Ontology Technology and Knowledge Management. Free University Amsterdam VUA), [TopQuadrant] TopQuadrant Technology Briefing Semantic Technology (Version 1.2, March 2004) [Gonzalez-Castillo]Gonzalez-Castillo, Javier, David Trastour, and Claudio Bartolini, Description Logics for Matchmaking Services. Bristol, HP Laboratories Bristol HPL , Bristol,

57 Спасибо за внимание! 57