8.2. WordNet: Приложения. Информационный поиск: векторная модель (vector-space model) Ранжирование документов по мере их соответствия запросу Каждому. - презентация

1 8.2. WordNet: Приложения

2 Информационный поиск: векторная модель (vector-space model) Ранжирование документов по мере их соответствия запросу Каждому документу ставится в соответствие вектор со значениями весов [0,1], призванными отразить значимость термина в документе Наиболее общепринятый способ вычисления веса термина - tf idf idf – частотность термина в коллекции tf – частотность термина в документа Наиболее частая функция вычисления сравнения векторов документа и запроса – скалярное произведение – косинус угла между векторами

3 Векторная модель: основные этапы Удаление стоп-слов (и, или, но…), которые заданы списком Приведение к нормальной морфологической форме Построение вектора терминов документа Сравнение вектора запроса с векторами документов Выдаются документы, функция подобия которых превышает некоторый порог

4 Text Retrieval Conference (TReC) Первая конференция – 1992 Основная цель – оценка методов информационного поиска на больших текстовых коллекциях Основной эксперимент: ad hoc запросы –2 Гб документов на CD-ROMe –В основном публикации газет и журналов –Различные по длине от 300 слов до сотен страниц –Заданы темы –Нужно прислать 1000 документов наиболее релевантных документов по каждой теме Другие эксперименты: –Эксперименты по фильтрации документов –Многоязычный информационный поиск –Поиск ответов на вопросы

5 Традиционные методы оценки эффективности поиска Полнота (recall)Полнота (recall) –Отношение количества найденных релевантных документов к количеству всех документов, релевантных запросу Recall = RR / RA Точность (precision)Точность (precision) –Отношение количества найденных релевантных документов к общему количеству найденных документов Precision = RR / RS

6 Пословные модели (bag of words): проблемы Синонимы Многозначность слов Существование смысловых связей между словами Слова запроса употреблены в тексте, но не связаны между собой. –Ищем «Охрана труда» –Получаем текст об оплате труда работников вневедомственной охраны

7 Альтернатива: концептуальное индексирование Индекс по понятиям текста –Все синонимы, варианты эквивалентны –Возможно организовать задать отношения между понятиями, организовать расширение запроса Но: - Требуется создавать лингвистические ресурсы, тезаурусы, онтологии для разных ПО - Разрешение многозначности - Как использовать отношения для более эффективного поиска

8 Концептуальное индексирование: эффективность на текущий момент Мнение в сообществе: –не удается показать, что затраты на разработку ресурса и разрешение многозначности окупаются увеличением эффективности поиска –статистические модели и так учитывают максимум возможного

9 Using WordNet for Text Retrieval Ellen M. Vorhees

10 Разрешение многозначности Hood – область в сети WordNet, где слово однозначно – наибольший подграф, включающий S (синсет для одного из значений), и не включащий другие синсеты с S

11 Board: значения и иерархия Board – committee, commission…- group, grouping (Board, control panel) – electrical device (circuit_board, board) –( circuit, closed circuit) - electrical device (board, plank) – (lumber, timber) – (building material) – (material, stuff) – (substance, material) (board, mess, ration) – (food, nutrient) – (substance, material) (dining table, board) - table – furniture – article of commence

12 Процедура разрешения многозначности Первый проход: просматриваются все тексты, для каждого слова добавляется 1в счетчики для синсетов и для всех вышестоящих Проход для индивидуального текста Для каждой вершины hood вычисляется относительная разница между числом отметки вершины в данном тексте и в массиве Выбирается значение с максимальной разницей

13 Коллекция 3204 документов по компьютерным исследованиям – 50 запросов 1460 документов информационным исследованиям – 35 запросов 1400 документов по инженерии – 225 запросов 1033 документов по медицине – 30 запросов 423 документов из журнала Тайм – 83 запроса

14 Эксперимент Для текста и коллекции строятся вектора (текстовая единица, вес): - стандартный по словам - концептуальный вектор, состоящий из трех подвекторов (слова, которых не было в WordNet или не удалось разрешить многозначность), номера выбранных синсетов, многозначные слова – как контрольная группы

15 Вектор значений: модификации 1) 110 – равные веса первому подвектору и вектору значений, подвектор многозначных сущ. не учитывается 2) 211 – 3) 101 Падение средней точности по коллекциям для 110 – от 12.3% до 42.3%, для 211 – от 6.2 до 23.2

16 Основная проблема при разрешении многозначности в контексте информационного поиска В запросе происходит такой выбор значения, которого нет нигде в текстах. Запрос: separation anxiety in infants and preschool children 8 значений слова separation Всего 8 релевантных документов, но находится только 1.

17 Nail, hummer, carpenter -board Board – lumber НО: Nail – fastener – device=>board (control panel) Hummer – tool – article of commence => board (dining table) Carpenter – worker – person =>0

18 Расширение запроса 1. Расширение запроса с ручным разрешением многозначности 2. Расширение запроса с автоматическим разрешением многозначности 50 Запросов из конференции TREC

19 TREС: пример запроса Domain: Science and Technology Topic: Aftermath of Chernobyl Description: document cites measures taken by European countries to record and contain the results of the Chernobyl accident. Narrative: a document will cite an action undertaken by a European government such as testing food supplies, testing water, measuring fallout, banning new reactor construction … Concepts: 1. Chernobyl, nuclear accident, radiation, contamination 2. Consequences, evacuation, health fears, cancer 3. Banning foodstuffs, propaganda campaign, testing soil…

20 Эксперименты с ручным разрешением многозначности Расширение – только синонимами –синонимы + все нижестоящие по иерархии –синонимы + все нижестоящие + «родители» –Синонимы+В любую сторону на один шаг

21 Результат расширения запроса Полная формулировка темы (Narrative) –Никакое расширение не дало улучшения больше 2% по сравнению с пословным методом Укороченная формулировка темы (Description) –Расширение на один шаг во все стороны дало прибавление эффективности поиска 35 процентов, но меньше чем для полной форму- ки

22 Автоматическое расширение запроса Запросы TREC: description Слишком частотные слова в коллекции не расширяются (freq

23 Результаты автоматического расширения запроса Оценивались различные N – 5%, 10% коллекции Различные веса на расширение 0.3, 0.5, 0.8. Максимальное улучшение 0.7% Этот результат не является статистически значимым

24 Заключение статьи The inability to automatically resolve word senses prevented any improvements from being realized. The experiments above suggest that the paradigmatic relations contained within WordNet together with the text to be disambiguated do not supply the the information required for this sense resolution task… Syntagmatic information is needed

25 Вопросно-ответные системы

26 Поиск ответов на вопросы Постановка задачи: 60-е годы: поиск в специальных базах знаний Сейчас: поиск в громадных текстовых массивах Примеры вопросов TREC: What does the Peugeot company manufacture? How long did the Charles Manson Murder trial last? Who is the first American in space?

27 Вопросно-ответные системы в TREC: Методы оценки Рассылается массив (несколько Гбайт) и порядка 200 вопросов Нужно прислать текстовые фрагменты 50 и 250 байт Ответы упорядочены, засчитываются первые три За правильный ответ на первом месте --- 1, на втором месте , на третьем Вычисление среднего по всему множеству вопросов

28 Вопросно-ответные системы: что можно отбросить из вопроса Кто из великих целителей прошлого написал трактат "О медицине? ЦЕЛЬС (Celsus) Авл Корнелий (I в. до н. э.), древнеримский автор энциклопедических трудов «Artes» (сохранился трактат "О медицине", книги 1 - 8, с ценными сведениями по гигиене, хирургии, дерматологии). А.Е. Ферсман приводит отрывок из трактата "Сокровищница лекарств", написанного арабским целителем около тысячи лет назад: "Ношение бирюзы, ….

29 Вопросно-ответные системы: нужно найти конкретный ответ, зависящий от вопроса Где находится Море космонавтов? Ответ: Главная база Советской антарктической экспедиции находится в западной части Земли Эндерби, на южном берегу залива Алашеева моря Космонавтов. Какая организация разработала браузер MOSAIC? Ответ: Компания Spyglass сообщила, что Sony будет использовать ее встроенный Web-браузер и другое программное обеспечение в телевизионных компьютерных приставках. Spyglass разработала браузер Mosaic - один из первых Web-браузеров, однако в последние годы она перенесла свое внимание на рынок устройств доступа к Сети.

30 Вопросно-ответные системы: лексические замены Как умер Сократ? Сократ был отравлен Почему электрические батареи быстрее разряжаются на холоде? Батарейки быстрее садятся на морозе, потому что ….

31 Вопросно-ответные системы: сложные случаи Глубокий семантический анализ предложения Кто был первым лауреатом Нобелевской премии по физике Он стал первым после Михаила Горбачева российским лауреатом Нобелевской премии с 1990 года и первым россиянином, заслужившим Нобелевку по физике, после академика Капицы, который получил ее в 1978 году. Ответ содержится в нескольких разных текстах. –Для создания ответа необходимо уметь выполнять автоматическое аннотирование по многим документам (Multidocument summarization) –DUC

32 The Informative Role of WordNet in Open-Domain Question Answering Marius Pasca and Sanda Harabagiu

33 Основные этапы поиска ответа на вопрос Обработка вопроса – определение типа ответа, формирование поискового запроса Выполнение запроса к информационной системе, формирование упорядоченного списка документов или абзацев Подробный анализ документов: проверка, содержат ли абзацы предполагаемый тип ответа, близость слов ответа и запроса

34 Упорядочение ответов Вопрос: Name the first private citizen to fly in space. Ответ: Among them was Christa McAuliffe, the first private citizen to fly in space. Karen Allen, best known for her starring role in Raiders of the Lost Ark plays McAuliffe. Brian Kerwin is featured as shuttle pilot Mike Smith.

35 WordNet и распознавание типа вопроса Типы вопросов – Who, How long, What Company Типы ответов на каждый тип вопроса получены из иерархии WordNet What flowers did Van Gogh paint? WordNet 470 гипонимов цветов

36 Иерархия типов вопросов и части речи Разные части речи могут определять один тип вопроса: Money: How much could you rent a Volkswagen bug for in 1966? What was the monetary value of the Nobel Prize in 1989?

37 Классификация типов ответов Trec8 – 200 вопросов 11 основных типов: Время, дата, продукция, организация, деньги, место, язык, человек Релевантные синсеты группируются под своим типом ответа Dimension: distance.3->wingspan, distance.1, tall

38 Answer Type Taxonomy (example)

39 Проведение дополнительных связей What is the political belief of president X? Возможные ответы – демократы, республиканцы, марксисты. – относятся к political leader - leader Нет связи между belief – leader Производят дополнение необходимой связью!?

40 Таксономия ответов: текущее состояние 8707 синсетов 20 верхних типов 129 добавленных связей Правильная идентификация типа ответа для 75 процентов из 893 вопросов TREC

41 Определение типа ответа Основная процедура: –По словам вопроса – определение типа ответа (одного из двадцати). –Использование всех синсетов, отнесенных к данному типу для определения ответа Динамически формируемый тип ответа: - вопрос об известных подвидах: какой цветок, страна, кактус –What is the largest variety of cactus? –Of all the 5000 varieties of cactuses, the one that comes to mind the very word is the saguaro, Cereus giganteus, the giant of the desert.

42 Обработка вопросов типа «что такое» Используются шаблоны вопроса и ответа: –What a ? –Who –Шаблоны ответов –, the – ( a ) –Всего 12 типов ответов –Вопрос: What is anorexia nervosa? –Ответ: cause of anorexia nervosa, an eating disorder

43 Поиск абзацев: какие слова отбросить Понятие специфичности – берется информация из WordNet Biochemist – нельзя отбросить, а город (city) можно Оценка специфичности – подсчет гипонимов, не считая конкретные имена и гипонимы с тем же главным словом Если число меньше порога (10), то считается специфичным и не отбрасывается (в city – это значение 0???)

44 Поиск абзацев: лексические и семантические замены Лексические замены: –Who is the Queen of Holland? –Princess Margritt, sister of Queen Beatrix of the Netherlands, was also present. Семантические замены: –What is the highest mountain in the world? –… first African country to send an expedition to Mount Everest, the worlds highest peak

45 Заключение Вопросно-ответная система действительно лучшая в течение нескольких лет Произведена серьезная настройка на возможные типы вопросов На базе WordNet создан специальный ресурс –Снижение многозначности –Добавление отношений (!?) –Информационный поиск ???

46 Вопросы к лекции Какие проблемы использования онтологии в информационном поиске? Основные этапы работы вопросно- ответной системы Как можно использовать онтологию в вопросно-ответной системе?