8.3. WordNet: Применение в вопросно-ответных системах

Поиск ответов на вопросы Постановка задачи: 60-е годы: поиск в специальных базах знаний Сейчас: поиск в громадных текстовых массивах Примеры вопросов TREC: What does the Peugeot company manufacture? How long did the Charles Manson Murder trial last? Who is the first American in space?

Вопросно-ответные системы в TREC: Методы оценки Рассылается массив (несколько Гбайт) и порядка 200 вопросов Нужно прислать текстовые фрагменты 50 и 250 байт Ответы упорядочены, засчитываются первые три За правильный ответ на первом месте --- 1, на втором месте , на третьем Вычисление среднего по всему множеству вопросов

Вопросно-ответные системы: что можно отбросить из вопроса Кто из великих целителей прошлого написал трактат "О медицине? ЦЕЛЬС (Celsus) Авл Корнелий (I в. до н. э.), древнеримский автор энциклопедических трудов «Artes» (сохранился трактат "О медицине", книги 1 - 8, с ценными сведениями по гигиене, хирургии, дерматологии). А.Е. Ферсман приводит отрывок из трактата "Сокровищница лекарств", написанного арабским целителем около тысячи лет назад: "Ношение бирюзы, ….

Вопросно-ответные системы: нужно найти конкретный ответ, зависящий от вопроса Где находится Море космонавтов? Ответ: Главная база Советской антарктической экспедиции находится в западной части Земли Эндерби, на южном берегу залива Алашеева моря Космонавтов. Какая организация разработала браузер MOSAIC? Ответ: Компания Spyglass сообщила, что Sony будет использовать ее встроенный Web-браузер и другое программное обеспечение в телевизионных компьютерных приставках. Spyglass разработала браузер Mosaic - один из первых Web-браузеров, однако в последние годы она перенесла свое внимание на рынок устройств доступа к Сети.

Вопросно-ответные системы: лексические замены Как умер Сократ? Сократ был отравлен Почему электрические батареи быстрее разряжаются на холоде? Батарейки быстрее садятся на морозе, потому что ….

Вопросно-ответные системы: сложные случаи Глубокий семантический анализ предложения Кто был первым лауреатом Нобелевской премии по физике Он стал первым после Михаила Горбачева российским лауреатом Нобелевской премии с 1990 года и первым россиянином, заслужившим Нобелевку по физике, после академика Капицы, который получил ее в 1978 году. Ответ содержится в нескольких разных текстах. –Для создания ответа необходимо уметь выполнять автоматическое аннотирование по многим документам (Multidocument summarization) –DUC

The Informative Role of WordNet in Open-Domain Question Answering Marius Pasca and Sanda Harabagiu

Основные этапы поиска ответа на вопрос Обработка вопроса – определение типа ответа, формирование поискового запроса Выполнение запроса к информационной системе, формирование упорядоченного списка документов или абзацев Подробный анализ документов: проверка, содержат ли абзацы предполагаемый тип ответа, близость слов ответа и запроса

Упорядочение ответов Вопрос: Name the first private citizen to fly in space. Ответ: Among them was Christa McAuliffe, the first private citizen to fly in space. Karen Allen, best known for her starring role in Raiders of the Lost Ark plays McAuliffe. Brian Kerwin is featured as shuttle pilot Mike Smith.

WordNet и распознавание типа вопроса Типы вопросов – Who, How long, What Company Типы ответов на каждый тип вопроса получены из иерархии WordNet What flowers did Van Gogh paint? WordNet 470 гипонимов цветов

Иерархия типов вопросов и части речи Разные части речи могут определять один тип вопроса: Money: How much could you rent a Volkswagen bug for in 1966? What was the monetary value of the Nobel Prize in 1989?

Классификация типов ответов Trec8 – 200 вопросов 11 основных типов: Время, дата, продукция, организация, деньги, место, язык, человек Релевантные синсеты группируются под своим типом ответа Dimension: distance.3->wingspan, distance.1, tall

Answer Type Taxonomy (example)

Проведение дополнительных связей What is the political belief of president X? Возможные ответы – демократы, республиканцы, марксисты. – относятся к political leader - leader Нет связи между belief – leader Производят дополнение необходимой связью!?

Таксономия ответов: текущее состояние 8707 синсетов 20 верхних типов 129 добавленных связей Правильная идентификация типа ответа для 75 процентов из 893 вопросов TREC

Определение типа ответа Основная процедура: –По словам вопроса – определение типа ответа (одного из двадцати). –Использование всех синсетов, отнесенных к данному типу для определения ответа Динамически формируемый тип ответа: - вопрос об известных подвидах: какой цветок, страна, кактус –What is the largest variety of cactus? –Of all the 5000 varieties of cactuses, the one that comes to mind the very word is the saguaro, Cereus giganteus, the giant of the desert.

Обработка вопросов типа «что такое» Используются шаблоны вопроса и ответа: –What a ? –Who –Шаблоны ответов –, the – ( a ) –Всего 12 типов ответов –Вопрос: What is anorexia nervosa? –Ответ: cause of anorexia nervosa, an eating disorder

Поиск абзацев: какие слова отбросить Понятие специфичности – берется информация из WordNet Biochemist – нельзя отбросить, а город (city) можно Оценка специфичности – подсчет гипонимов, не считая конкретные имена и гипонимы с тем же главным словом Если число меньше порога (10), то считается специфичным и не отбрасывается (в city – это значение 0???)

Поиск абзацев: лексические и семантические замены Лексические замены: –Who is the Queen of Holland? –Princess Margritt, sister of Queen Beatrix of the Netherlands, was also present. Семантические замены: –What is the highest mountain in the world? –… first African country to send an expedition to Mount Everest, the worlds highest peak

Обработка булевского запроса Из вопроса порождаются структура синт. зависимостей, называемая семантическая форма вопроса Запрос – булевское выражение Абзацы – кандидаты должны содержать по крайней мере один объект, подходящий к заданному типу ответа – порождается семантическая форма ответа 3 Цикла расширения запроса

Циклы расширения запроса Цикл1 –Слишком много или слишком мало абзацев – морфологические расширения и номинализации глаголов Цикл2 –Не удается провести унификацию семантических форм вопроса и ответа –Добавление синонимов, прямых гипонимов и гиперонимов Цикл3 –Не удается доказать правильность ответа –Использование цепочки референций

Схема обработки булевского запроса

Оценки TREC Улучшения в 50-байтном ответе Цикл 1 – 40% Цикл 2 – 52% Цикл 3 – 8% Всего – 76%

Пример: цикл2 – лексическое расширение Who killed Martin Luther King? Kill – killer –гипоним- assassin How far is the moon? Far – атрибут – distance

Заключение Вопросно-ответная система действительно лучшая в течение нескольких лет Произведена серьезная настройка на возможные типы вопросов На базе WordNet создан специальный ресурс –Снижение многозначности –Добавление отношений (!?)

Реальные вопросы. Компьютерный форум Ноутбук Compaq nx9010, месяц от роду, лицензионная русская XP Home SP1, каждые 3-4 дня загадочно исчезают точки восстановления: просто стираются соответствующие папки. Похоже, что при перезагрузке. Но не уверен. В календаре мастера восстановления - тоже исчезают. На диске свободно 27 Гб, движок стоит на все 12%. На десктопе со времён установки XP ничего подобного никогда не наблюдалось (там без сервиспака). Принятые меры: выключение и снова включение восстановления - ноль внимания. Снесение системы, установка заново - аналогично. Где копать? Машина хорошая, претензий нет. К виндам во всём остальном - тоже. Железо? Винды? Хитрые дрова? Что?

Реальные вопросы. Правовая область Расскажите, пожалуйста, о туристических и транзитных визах в США. Что собой представляют визы, выдаваемые супругам, и визы, связанные с обучением? Сколько стоит оформление визы?

Вопросы к лекции Основные этапы работы вопросно- ответной системы Как можно использовать онтологию в вопросно-ответной системе? Обработка булевского запроса в вопросно-ответной системе