Интерактивное разрешение неоднозначности различных типов в машинном переводе И.М. Богуславский, Л.Л. Иомдин, А.В. Лазурский, Л.Г. Митюшин, А.С. Бердичевский, - презентация

1 Интерактивное разрешение неоднозначности различных типов в машинном переводе И.М. Богуславский, Л.Л. Иомдин, А.В. Лазурский, Л.Г. Митюшин, А.С. Бердичевский, В.Г. Сизов, Л.Г. Крейдлин Работа поддержана грантом РФФИ и стипендией Яндекса #102921

2 Мы, управление дома, с ненавистью заговорил Швондер, пришли к вам после общего собрания жильцов нашего дома, на котором стоял вопрос об уплотнении квартир дома... Кто на ком стоял? Крикнул Филипп Филиппович, потрудитесь излагать ваши мысли яснее. М. А. Булгаков, «Собачье сердце».

3 Вечная проблема неоднозначности Разрешение на основе все более детальной лексической и грамматической информации Недостатки: Огромный объем работы Ограниченная эффективность

4 Вечная проблема неоднозначности Разрешение на основе статистических данных Представляется очень перспективным, но максимальная эффективность на сегодняшний день около 75%

5 Интерактивное разрешение Идея была впервые выдвинута примерно 25 лет назад (по данным В. Хатчинза, Hutchins 1986) Системы ALPS и Weidner в штате Юта: начало 1980-х Maruyama et al. 1990: для японского языка Christian Boitet и Hervé Blanchon в Гренобле (1994) Lidia, Systran, ALT-J/E (NTT Communication Science Laboratories of Japan), система МП университета UMIST, группа Spoken Translation в США, система многоязычного поиска и навигации в интернете, разработанная DFKI и университетом земли Саар

6 ЭТАП-3: синтаксический анализатор Переводит морфологическую структуру предложения в дерево зависимостей:

7 Этап-3: перевод На вход модуля перевода подается нормализованная древесная структура; если заданное предложение неоднозначно – несколько структур Содержание узлов и синтаксические отношения переводятся на выходной язык; применяются тривиальные и нетривиальные правила, происходит обращение к комбинаторному словарю

8 Интерактивное разрешение лексической неоднозначности Я попадаю в кабак и кучу с тремя девицами

9 Слово кучу неоднозначно. Что вы имеете в виду? КУЧА: существительное. ГРУДА. Куча земли. (heap) КУТИТЬ: глагол. ПРАЗДНОВАТЬ, ТРАТЯ ДЕНЬГИ. Мы сегодня кутим! (revel)

10 I get to a tavern and a heap with three girls

11 I get to a tavern and I revel with three girls

12 Подготовка лексического разрешения Для омонимичных слов (с совпадающими леммами или словоформами) в КС включаются КОММЕНТАРИИ: 1) аналитическое толкование значения слова или его существенный фрагмент; 2) маркер части речи, 3) простые синтаксические признаки, 4) синонимы и/или антонимы слова. и ПРИМЕРЫ

13 Точки, в которых может запрашиваться мнение эксперта Непосредственно перед выбором вершины дерева После проверки всех синтаксических гипотез (бинарных поддеревьев) Непосредственно перед выбором вариантов перевода

14 Достижения и намерения Обработано: русских омонимичных слов Обрабатывается: английских Цель – два возможных режима работы системы: «Автоматический»: максимально используются вероятностные соображения, маловероятные гипотезы отсекаются на ранних стадиях анализа «Интерактивный»: максимально используются знания пользователя, что позволяет получить более адекватную интерпретацию

15 American National Standards Institute Необходимость выбрать вариант перевода. Противоречия в словарях. Противоречия среди экспертов. Противоречия в справочных данных. Есть ли здесь вообще омонимия в пределах английского языка?

16 Опрос носителей Есть те, кто замечает омонимию, есть те, кто не замечает Среди не замечающих омонимию нет выбирающих National Institute Один носитель пкак Standards Institute for American Nationals

17 Ответ ЭТАПа: Американские национальные стандарты учреждают Стандарты американского подданного учреждают Американские стандарты подданного учреждают Национальные в отношении американца стандарты учреждают Американский национальный стандартный институт Стандартный институт американского подданного Американский стандартный институт подданного Национальный в отношении американца стандартный институт

18 The word Institute is ambiguous. What does it mean? A noun: a scientific or educational institution. I work at the Medical Institute (институт) A verb: institutionalize, establish. To institute a society (учреждать)

19

20 The word American is ambiguous. What does it mean? Adjective: of or referring to America. American food (американский) Noun: a resident or citizen of America. An American was first on the competition (американец)

21

22 The word National is ambiguous. What does it mean? Adjective: of or referring to a nation. National anthem (национальный) Noun: a citizen. British nationals are known for their patriotism (подданный)

23

24 Синтаксическая омонимия Разрешение лексической устраняет значительную часть синтаксической Существуют механизмы и для разрешения чисто синтаксической, но требуют хорошего знания используемых формализмов Ведется разработка механизмов, которые позволят вести диалог с неподготовленным пользователем

25 He studies buzzes and whistles This phrase is ambiguous. What does it mean? He studies buzzes and he whistles. He studies buzzes and he studies whistles.

26 Он изучает жужжание и свистит

27 Он изучает жужжание и свист

28 Внутренняя и переводная неоднозначность Некоторые случаи неоднозначностей следует различать вне зависимости от выходного языка Мужу изменять нельзя Я попадаю в кабак и кучу с тремя девицами

29 Внутренняя и переводная неоднозначность Некоторые неоднозначности возникают только при переводе на конкретный язык Не нужно различать рыбу как животное и рыбу как еду при переводе с русского на английский, французский или немецкий Но нужно при переводе на испанский, где pez – рыба как животное и pescado – рыба как еда

30 Внутренняя и переводная неоднозначность Различие, последовательно проводимое в ЭТАПе Различные типы обрабатываются на разных этапах: анализа и перевода Важно для многоязычной среды: режим интерактивного разрешения включается в зависимости от выходного языка

31 СПАСИБО ЗА ВНИМАНИЕ