20-24.09.10 КИИ-2010, Тверь1 О СХЕМЕ ВЗАИМОДЕЙСТВИЯ В КОМПЛЕКСЕ «АНАЛИЗ И СИНТЕЗ ЕСТЕСТВЕННОГО ЯЗЫКА И ИЗОБРАЖЕНИЙ» С.С. Курбатов, cul@nicevt.ru К.А. Найденова, - презентация

1 КИИ-2010, Тверь1 О СХЕМЕ ВЗАИМОДЕЙСТВИЯ В КОМПЛЕКСЕ «АНАЛИЗ И СИНТЕЗ ЕСТЕСТВЕННОГО ЯЗЫКА И ИЗОБРАЖЕНИЙ» С.С. Курбатов, К.А. Найденова, Г.К. Хахалин,

2 КИИ-2010, Тверь2 Комплекс: анализ/синтез ЕЯ и изображения + онтология Система анализа изображений. Система синтеза изображений. Система анализа ЕЯ-текста. Система синтеза ЕЯ-текста. Прикладная онтология - связующее звено между системами: Прикладная область: плоские контурные планиметрические объекты. Язык представления знаний в онтологии – семантический гиперграф.

3 КИИ-2010, Тверь3 Схема комплекса Анализ ЕЯ Синтез ЕЯ Концептуальный синтез изображений Прикладная онтология Концептуальный анализ изображений

4 КИИ-2010, Тверь4 Семантический гиперграф Является расширением семантических сетей, где естественным образом представляются n-арные отношения. Предоставляет возможность задавать атрибутивную и структурную информацию об объектах и ситуациях. В зависимости от типов отношений можно реализовывать классифицирующие, функциональные, ситуационные, структурные сети и сценарии.

5 КИИ-2010, Тверь5 Фрагмент прикладной онтологии на языке семантического гиперграфа Плоская Фигура Прямоугольный Треугольник Ромб Равнобедренный Треугольник Равносторонний Треугольник Квадрат Параллелограмм Трапеция Овал Равнобочная Трапеция Круг Эллипс Прямоугольник

6 КИИ-2010, Тверь6 Равнобочная трапеция Основание (сd) Бок_Сторона (вс) имеет по_формуле им_структуру Площадь Периметр Равнобочная_Трапеция имеет по_формуле Трапеция вид Основание (ав) Бок_Сторона (аd) F11 (S=1/2 (ав+cd)*h) F10 (P=ав+сd+2l) параллельны l l3l3 соприк_к.т.В соприк_к.т.А им_длину соприк_к.т.С соприк_к.т.D l2l2 им_длину не_параллельны

7 КИИ-2010, Тверь7 Схема взаимодействия систем 5 КАИКСИ АЕЯСЕЯ Прикладная онтология

8 КИИ-2010, Тверь8 Анализ/понимание изображения {1, 2} – вход: изображение; в онтологии: описание зрительной ситуации (всей или части) на ЯПЗ Прямоугольник F20 (P=2*(ав+вс)) Площадь по_формуле Сторона (сd) Сторона (вс) имеет по_формуле им_структуру Периметр имеет Параллелограмм вид Сторона (ав) Сторона (аd) F22 (S= l 1 *l 2 ) параллельны l1l1 соприк_к.т.В соприк_к.т.А им_длину соприк_к.т.С соприк_к.т.D им_длину l2l2 перпенд.

9 КИИ-2010, Тверь9 Анализ изображения и проверка результатов анализа по синтезу объектов {1, 2, 3} – вход: изображение; в онтологии: описание зрительной ситуации на ЯПЗ; выход: множество примеров изображений класса объектов.

10 КИИ-2010, Тверь10 Генерирование текста по рисунку {1, 4, 8} – вход: изображение; в онтологии: описание геометрической ситуации на ЯПЗ; выход: ЕЯ-тексты, описывающие геометрическую ситуацию. А B C ЕЯ-тексты: Треугольник ABC, две стороны которого равны 6 и 8, а медиана, заключенная между ними, равна 5. Треугольник со сторонами АВ=8, АС=6. Медиана, проведенная из вершины А, равна 5. Задан треугольник ABC. Сторона АС (равна 6) меньше стороны АВ (равна 8). Из вершины А к основанию CB опущена медиана AD (равна 5).

11 КИИ-2010, Тверь11 Создание рисунка по тексту { 6, 5, 3} – вход: ЕЯ-текст; в онтологии: семантическое описание текстовой ситуации на ЯПЗ; выход: изображение (множество изображений), описывающее текстовую ситуацию. ЕЯ-текст: В треугольник ABC вписана окружность. А B C им_структуру Вписанная_в_Тре-к_Окружность Центр_Окр. Сторона (вс) Сторона (ав) имеет Треугольник Окружность им_знач нах_внутри Радиус имеет принадлежит касается_в_точке Сторона (ас) R

12 КИИ-2010, Тверь12 Перефразирование входного текста (анализ/синтез текста) Входной текст: Постройте круг данного радиуса r, который включает точку с координатами X1 и Y1. Выходные тексты: Задана точка с координатами X1 и Y1. Она находится внутри круга с радиусом r. Построить такой круг. Построить круг с радиусом r, включающий точку с координатами X1 и Y1. Внутри круга находится точка с координатами X1 и Y1. Постройте такой круг, радиус которого равен r. Выходной текст может быть представлен на языке, отличным от входного языка: To construct the circle with radius r which includes a points with co-ordinates X1 and Y1.

13 КИИ-2010, Тверь13 Схема взаимодействия подсистем 5 КАИКСИ АЕЯСЕЯ Прикладная онтология

14 КИИ-2010, Тверь14 Пример наполнения онтологии Кораблик – это равнобочная трапеция, к большему основанию которой перпендикулярно проведен отрезок прямой длиной не более 2/3 этого основания. Этот отрезок прямой касается большего основания трапеции в его середине. Отрезок прямой пересекает параллелограмм. Стороны параллелограмма не более 2/3 и не менее 1/4 длины отрезка.

15 КИИ-2010, Тверь15 Структура понятия «Кораблик» и пример изображения Сторона b Большее основание им_структуру Параллелограмм Кораблик Отрезок прямой вх._в_стр-ру Параллелограмм им_длину Равнобоч. трапеция им_длину вх._в_стр-ру Равнобоч. трапеция вх._в_стр-ру касается_в_сере дине Отрезок прямой l1l1 l3l3 вх._в_стр-ру Сторона а не более 2/3 от вх._в_стр-ру им_длину l2l2 l4l4 не менее 1/4 и не более 2/3 от перпендикулярно пересекает вх._в_стр-ру

16 КИИ-2010, Тверь16 Претенденты на системы комплекса Система Spotlight (фирма CSOFT) – «нижние» уровни анализа объектов изображения. Основные функции: сканирование, фильтрация, коррекция, распознавание геометрических примитивов: отрезки, дуги, окружности, символы, произвольные кривые (полилинии) Система «ПСИ» (Власов А.В., Аредова И.И.) – синтез объектов изображения. Основные функции: означивание параметров объектов изображения по структурам модели; расчет экземпляров объектов; выявление недостатка/противоречивости данных и т.д.

17 КИИ-2010, Тверь17 Претенденты на системы комплекса Лингвистический транслятор «Адалит» (Хахалин Г.К. и др.) – анализ/синтез ЕЯ-текста. Основные функции: морфологический, синтаксический и семантический анализ элементов ЕЯ-текста, включающего простые, осложненные, сложные, эллиптические и анафорические предложения. Элементы синтеза ЕЯ-текста. Язык представления знаний для прикладной онтологии (Курбатов С.С., Хахалин Г.К.) – семантический гиперграф. Основные функции: стандартные процедуры обработки гиперграфов (добавление/удаление вершин, ребер; стягивание, свертка и т.д.).

18 КИИ-2010, Тверь18 Возможное применение: Системы обучения (естественному языку с картинками, геометрии и т.д.). Робототехника. Система сурдоперевода («текст аватар»). Система описания изображений на ЕЯ для поиска.

19 КИИ-2010, Тверь19 Спасибо за внимание! Дополнительную информацию можно получить, обратившись к докладчикам или по

20 КИИ-2010, Тверь20 Студенты и аспиранты! Если Вы хотите работать над дипломом или над диссертацией по темам «Лингвистический анализ/синтез естественного языка» или «Концептуальный анализ/синтез изображений», обращайтесь к докладчику или по Престиж и качество гарантируются!