Компьютер и язык Леонид Лейбович Иомдин Лаборатория компьютерной лингвистики Института проблем передачи информации РАН им. А.А.Харкевича. - презентация

1 Компьютер и язык Леонид Лейбович Иомдин Лаборатория компьютерной лингвистики Института проблем передачи информации РАН им. А.А.Харкевича

2 Компьютер и язык Доклад посвящён задачам компьютерной обработки текстов на естественном языке. Автор рассказывает об основных типах таких задач (автоматический перевод текстов с одних языков на другие, интеллектуальный поиск информации, общение с компьютерными системами на человеческом языке, анализ и порождение устной речи) и о современных методах их решения. Подробно демонстрируется работа одной системы автоматического перевода, разрабатываемой в Институте проблем передачи информации с участием докладчика. Что должен знать компьютер, чтобы из английского выражения What is your name получить его русский эквивалент Как тебя зовут? Автор показывает, как развитие теоретической лингвистики и прогресс в компьютерной науке взаимно дополняют друг друга. Особое внимание уделяется нерешенным проблемам компьютерной лингвистики – науки, которая лежит в основе рассматриваемой области человеческой деятельности.

3 22 апреля 2009 г. МФТИ3. АВТОМАТИЧЕСКИЙ ПЕРЕВОД Лингвистическая теория «Смысл Текст» Человеческий диалог и перевод

4 22 апреля 2009 г. МФТИ4. ИНТЕЛЛЕКТУАЛЬНЫЙ ПОИСК ИНФОРМАЦИИ Информационный поиск и перифразирование Распознавание чувств и настроений (sentiment recognition)

5 22 апреля 2009 г. МФТИ5. ОБЩЕНИЕ С КОМПЬЮТЕРНЫМИ СИСТЕМАМИ НА ЧЕЛОВЕЧЕСКОМ ЯЗЫКЕ Какова средняя зарплата сотрудников отдела 7? рубль в месяц

6 22 апреля 2009 г. МФТИ6. АНАЛИЗ И ПОРОЖДЕНИЕ УСТНОЙ РЕЧИ Автоматический анализ речи Автоматический синтез речи

7 22 апреля 2009 г. МФТИ7. ОБРАТНАЯ СВЯЗЬ ТЕОРИИ И ПРАКТИКИ «Развитие теоретической лингвистики и прогресс в компьютерной науке взаимно дополняют друг друга» Пример: длительные обстоятельства в русском языке

8 22 апреля 2009 г. МФТИ8 Поезд стоял [X] там всего минуту [Y]. Он работал год. Больному надо вылежать дня три. Он посидел часик и ушел. Длительное синтаксическое отношение

9 22 апреля 2009 г. МФТИ9. Нерешенные проблемы компьютерной лингвистики Модели управления предикатных слов

10 22 апреля 2009 г. МФТИ10 Словарные статьи русского компьютерного словаря СМОТРЕТЬ POR:V //СОВ: ПОСМОТРЕТЬ SYNT:ТРАНЗИТ,ДАТПОС,*ДО-КОНЕЧН DES:'ДЕЙСТВИЕ','ФАКТ','АБСТРАКТ' D2.1:ВИН D2.2:КОНЕЧН D2.3:QU D2.3:ЧТОБЫ _SYN:ГЛЯДЕТЬ LF1_CIN _REAL1-M:ВИДЕТЬ _SYN1:ВЗИРАТЬ/ГЛАЗЕТЬ/ТАРАЩИТЬСЯ _SING:ВЗГЛЯД _MAGN:ВНИМАТЕЛЬНО/ПРИСТАЛЬНО _ANTIMAGN:БЕГЛО TRAF:ОБСТ-ТАВТ.10 LR:ВЗГЛЯД TRAF:1-КОМПЛ.11 TRAF:1-КОМПЛ.51 TRAF:НЕАКТ-КОМПЛ.13 TRAF:1-КОМПЛ.28 TRAF:1-КОМПЛ.27 *************************** ZONE:EN TRANS:LOOK1

11 22 апреля 2009 г. МФТИ11 ЗАГЛЯДЫВАТЬ POR:V АЛ+ЛВ //СОВ: ЗАГЛЯНУТЬ SYNT:БЕНЕФ,*ДО-КОНЕЧН DES:'ФАКТ','АБСТРАКТ','ДЕЙСТВИЕ' D2.1:КОНЕЧН _S0:ЗАГЛЯДЫВАНИЕ TRAF:НЕАКТ-КОМПЛ.12 *************************** ZONE:EN TRANS:PEEP2 REG:RA-TRADUCT2.D0 ЗАГЛЯДЫВАТЬ К КОМУ-ЛИБО -> CALL IN ON SMB TAKE:X N:01 CHECK 1.1 DOM-LEXR(X,Z,1-КОМПЛ,К) 1.2 DOM-EQU(Z,Z1,ПРЕДЛ,'ЧЕЛОВЕК','ЖИВОТНОЕ') DO 1 ZAMAUZ:X(CALL$IN) 2 ZAMAUZ:Z(ON1) 3 IZOT:(X,Z,2-КОМПЛ)-(X,Z,ADVERB) TRAF:EXPANS.64 LR:ЗАГЛЯДЫВАНИЕ Словарные статьи русского компьютерного словаря

12 22 апреля 2009 г. МФТИ12 ВЗГЛЯДЫВАТЬ POR:V АЛ //СОВ: ВЗГЛЯНУТЬ SYNT:БЕНЕФ,*ДО-КОНЕЧН DES:'ДЕЙСТВИЕ','ФАКТ','АБСТРАКТ' D1.1:'ЛИЦО' D2.1:КОНЕЧН _S0:ВЗГЛЯД TRAF:НЕАКТ-КОМПЛ.12 *************************** ZONE:EN TRANS:GLANCE2 TRAF:EXPANS.64 LR:ВЗГЛЯД TRAF:EXPANS.93 LR:НА1 Словарные статьи русского компьютерного словаря

13 22 апреля 2009 г. МФТИ13 Предлоги, задающие конечную точку движения В1 COMMENT:"УПРАВЛЯЕТ ВИНИТЕЛЬНЫМ ПАДЕЖОМ" EXAMPLE:"ВОШЕЛ В ДОМ" POR:PR ЛИ SYNT:ВРЕМ,КОЛИЧ-ПР,ОТРЫВ-НИ,ПЕРВООБР,КОНЕЧН,ВВОД D2.1:ВИН ВНУТРЬ1 COMMENT:"ПРЕДЛОГ, УПРАВЛЯЮЩИЙ РОД. ПАДЕЖОМ" EXAMPLE:"Я ЗАГЛЯНУЛ ВНУТРЬ КОМНАТЫ" POR:PR ЛИ SYNT:*Н-МЕСТ,КОНЕЧН D2.1:РОД ДО1 COMMENT:"ПРЕДЛОГ" EXAMPLE:"ДО ДОМА, ДО ПЯТНИЦЫ, ДО ДЕСЯТИ" POR:PR ЛК SYNT:ВРЕМ,КОНЕЧН,ОТРЫВ-НИ,ПЕРВООБР,ПРИБЛ D2.1:РОД ЗА1 COMMENT:"ПРЕДЛОГ, УПРАВЛЯЮЩИЙ ВИНИТЕЛЬНЫМ ПАДЕЖОМ" EXAMPLE:"ЗА ОВРАГ, ЗА МЕНЯ, ЗА ПЯТЬДЕСЯТ" POR:PR ЛИ SYNT:КОНЕЧН,ОТРЫВ-НИ,ВРЕМ,ПЕРВООБР D2.1:ВИН

14 22 апреля 2009 г. МФТИ14 К POR:PR ЛИ SYNT:КОНЕЧН,ВРЕМ,ОТРЫВ-НИ,ВВОД,ПЕРВООБР D2.1:ДАТ НА1 COMMENT:"ПРЕДЛОГ, УПРАВЛЯЮЩИЙ ВИНИТЕЛЬНЫМ ПАДЕЖОМ" EXAMPLE:"НА УКРАИНУ, НА ПЯТЬ БОЛЬШЕ" POR:PR НП SYNT:КОНЕЧН,ОТРЫВ-НИ,ВВОД,КОЛИЧ-ПР,ПЕРВООБР D2.1:ВИН ПОВЕРХ1 COMMENT:"ПРЕДЛОГ" EXAMPLE:"ВЗГЛЯНУЛ ПОВЕРХ ОЧКОВ" POR:PR ЛИ SYNT:*Н-МЕСТ,КОНЕЧН,ЛОКАТ D2.1:РОД ПОД1 COMMENT:"ПРЕДЛОГ, УПРАВЛЯЮЩИЙ ВИН. ПАДЕЖОМ" EXAMPLE:"ПОД ДВЕРЬ, ПОД ПЯТЬДЕСЯТ, ПОДСТРАИВАТЬСЯ ПОД НАЧАЛЬСТВО" POR:PR ЛК SYNT:КОНЕЧН,ОТРЫВ-НИ,ПЕРВООБР D2.1:ВИН Предлоги, задающие конечную точку движения

15 22 апреля 2009 г. МФТИ15 ПОПЕРЕК2 COMMENT:"ПРЕДЛОГ" EXAMPLE:"БРЕВНО ПОПЕРЕК ДОРОГИ" POR:PR КЛ SYNT:ЛОКАТ,КОНЕЧН D2.1:РОД ПОСЕРЕДИНЕ2 COMMENT:"ПРЕДЛОГ" EXAMPLE:"ПОСЕРЕДИНЕ ДВОРА" POR:PR ЛИ SYNT:*Н-МЕСТ,ЛОКАТ,КОНЕЧН D2.1:РОД ПОСРЕДИ POR:PR ЛИ SYNT:*Н-МЕСТ,ЛОКАТ,КОНЕЧН D2.1:РОД Предлоги, задающие конечную точку движения

16 22 апреля 2009 г. МФТИ16 Языковой материал Идти в город, на гору, за ворота, под стол, до поворота Смотреть на стол, в глаза, за горизонт, под шкаф, *до вершины Заглянуть в щелочку, под шкаф, *до шкафа Взглянуть на рисунок, в зеркало, *до зеркала

17 22 апреля 2009 г. МФТИ17 Идти D2.1:конечн Смотреть D2.1:конечн, *ДО1 Заглянуть D2.1:конечн, *ДО1,*НА1 Взглянуть D2.1:конечн, *ДО1 Языковой материал

18 22 апреля 2009 г. МФТИ18 1. Лингвистика как наука о языке. Представление об уровнях представления языка – фонетика, морфология, синтаксис, семантика. Лингвистика и прагматика. 2. Лингвистическое моделирование. Действующие модели языка. Теория «Смысл – Текст» как фундамент для построения систем автоматической обработки текста. 3. Грамматика и словарь естественного языка. Представление об интегральном описании языка. Представление о лексических функциях. 4. Краткий обзор формальных грамматик. Порождающие грамматики. Грамматики составляющих и грамматики зависимостей. Гибридные грамматики. ПРОГРАММА КУРСА ОСНОВЫ КОМПЬЮТЕРНОЙ ЛИНГВИСТИКИ

19 22 апреля 2009 г. МФТИ19 5. Анализ и синтез текста. Морфологический и синтаксический анализ. Парсинг. Различные подходы к синтаксическому анализу: анализ «сверху вниз» и «снизу вверх». 6. Языковая неоднозначность как принципиальное свойство языка и методы ее разрешения при автоматической обработке текста. Интерактивное разрешение лексической и синтаксической неоднозначности. 7. Правиловые и статистические подходы к автоматической обработке текста. ПРОГРАММА КУРСА ОСНОВЫ КОМПЬЮТЕРНОЙ ЛИНГВИСТИКИ

20 22 апреля 2009 г. МФТИ20 8. Задача машинного перевода в кругу задач автоматической обработки текста на естественном языке. Система машинного перевода как механизм обратной связи и источник новых лингвистических знаний. 9. Типы систем машинного перевода. Автоматический и автоматизированный перевод. Память переводов. Интерлингва (на примере UNL-универсального сетевого языка). 10. Морфологический компонент системы автоматической обработки текстов. Морфологическая структура слова и предложения. ПРОГРАММА КУРСА ОСНОВЫ КОМПЬЮТЕРНОЙ ЛИНГВИСТИКИ

21 22 апреля 2009 г. МФТИ Алгоритм синтаксического анализа. Синтаксические отношения. Синтагмы. Синтаксическая структура предложения. 12. Словарь системы автоматической обработки текстов. Словарь системы машинного перевода. Структура словарной статьи. Синтаксические признаки. Семантические признаки (дескрипторы). Теория валентностей. Модель управления. 13. Аннотированные корпусы текстов и их роль в задачах автоматической обработки текстов. ПРОГРАММА КУРСА ОСНОВЫ КОМПЬЮТЕРНОЙ ЛИНГВИСТИКИ

22 22 апреля 2009 г. МФТИ Синонимическое перифразирование высказываний и его прикладное значение. 15. Обзор задач прикладной лингвистики. 16. Современные цифровые лингвистические ресурсы (Word Net, Frame Net, Treebanks) ПРОГРАММА КУРСА ОСНОВЫ КОМПЬЮТЕРНОЙ ЛИНГВИСТИКИ