Система извлечения информации из текстов ИСИДА-Т Цель: извлечь значимую информацию определенного типа из (больших массивов) текста для дальнейшей аналитической. - презентация

1 Система извлечения информации из текстов ИСИДА-Т Цель: извлечь значимую информацию определенного типа из (больших массивов) текста для дальнейшей аналитической обработки Результат: структурированные данные

2 Извлечение информации: примеры Спортивные события:,,,, … База данных о рынке жилья:,,, …

3 ИСИДА-Т: Основные компоненты Инфраструктурные службы (конфигурирование, параллельная обработка, взаимодействие модулей) Лингвистический процессор Модули работы со знаниями предметной области Интерпретатор правил извлечения информации

4 ИСИДА-Т: Знания в подсистеме

5 ИСИДА-Т: Параллельная обработка данных Параллелизм на уровне документов для высокой производительности и снижения накладных расходов Разбиение документов для балансировки нагрузки Выделение сервисных узлов для выполнения отдельных функций по необходимости

6 Построение первичных текстовых объектов

7 Примеры текстовых объектов

8 Построение текстовых фактов Текстовый факт ситуация заданной структуры, имеющая временную координату

9 Построение текстовых фактов Примеры построенных фактов Михаил Ковальчук генеральный директор ЗАО "Трансэк" [ ] Михаил Ковальчук член-корреспондент РАН, директор Российского научного центра "Курчатовский институт" [ ] Игорь Ковальчук исполнительный директор транспортной компании ЗАО «Трансэк» [ ] Игорь Ковальчук генеральный директор транспортной компании "Трансэк" [ ]

10 Установление кореферентности (примеры) Модуль собирает в один объект разбросанную по разным текстам информацию об организации «Трансэк»: Устанавливается, что существуют два разных лица с именем Михаил Ковальчук: Ни один отдельно взятый текст не содержал полного набора сведений об этой компании !

11 Вывод новых фактов «Смена лиц, занимающих должность» Пример вывода новых фактов об отставках и назначениях на основе данных, содержащихся в разных текстах «Смена должностей лица»

12 Построение гипотез об отношениях между объектами из базы фактов По первому тексту система получает достоверный факт: Постулируется существование гипотетических объектов Сын 1 и Сын 2, обладающих определенными свойствами, хоть и с разной степенью достоверности Поиск гипотетических объектов с такими свойствами в базе текстовых фактов обнаруживает два объекта: …

13 Построение гипотез… (окончание) Система ранее вывела факт: Предположим, в знаниях системы о мире есть фрагмент, который позволяет строить гипотезы например, такого рода: Строится гипотеза: Для подтверждения или опровержения этой гипотезы у системы пока нет данных. Но они могут появиться по мере поступления новых текстов.

14 Результаты извлечения информации Полученные результаты могут использоваться непосредственно система выводит новые факты, распределенные по набору текстов, обеспечивает способ их визуализации в качестве исходных данных для систем Data Mining данные теперь структурированы в качестве исходных данных для подсистемы индексирования это даст новые возможности локального поиска