Оценка качества машинного перевода Критерии и методы

Характеристика исследования Объект: качество полученного МП Предмет: критерии оценки и методы их измерения Материал: машинный перевод текстов, представляющих собой аннотации (раздел Abstract) к статьям с диска Machine Translation Summit VIII, выполненные системой Прагматика Метод: сопоставление выходных и оригинальных текстов.

Категории пользователей систем машинного перевода обычные пользователи администраторы профессиональные переводчики

Классификации критериев Стандарты Международной Организацией по Стандартизации (ISO, ) Стандарты Экспертного совета в области инженерной лингвистики (EAGLES 1, 1996) Международные стандарты инженерной лингвистики (EAGLES II – ISLE, 2000) Итоговая таксономия характеристик оценки качества машинного перевода (ISLE, 2004)

Системные характеристики скорость и время выполнения перевода характеристики редактирования словари (возможность и легкость их обновления) отказоустойчивость удобство представления информации стоимость

Критерии оценки выходных текстов в качестве характеристик сопоставления смысла оригинала и перевода: точность перевода правильный перевод терминологии в качестве характеристик содержания текста: вразумительность понятность в качестве характеристик представления на языке перевода: естественность лингвистическая правильность связность

Методы оценки качества выходных текстов обратный перевод сравнение с эталонным переводом трансформационный метод денотативный метод анкетирование пользователей анализ ошибок по лингвистическим уровням (лексика, грамматика)

Нарушение лексической правильности при переводе имен собственных: Key–Sun Choj - Ключевое Солнце Цой Daniel J Walker – Даниель J Ходок при переводе аббревиатур: ISLE (International Standards for Language Engineering) - ОСТРОВ D.C (District Columbia) - Постоянный Ток

Нарушение лексической правильности при переводе терминологии (использование общеязыкового значения из автоматического словаря): evaluators - вычислители (надо: оценщики) fidelity - преданность (надо: точность) fuzziness - расплывчатость (надо: неопределенность) mining - горная промышленность (надо: извлечение)

Неверное снятие конверсионной омонимии : Исходный текста: Section 4 presents evaluation results in the context of MSR-MT… Машинный перевод - Определение качества подарков раздела 4 приводит в контексте MSE-MT… (Наличие в рамках одного фрагмента нескольких конверсионных омонимов)

Лексическая правильность и лексические ошибки система настроена на перевод текстов данной предметной области лексические ошибки - следствие неправильного снятия лексической многозначности конверсионная омонимия - источник синтаксической омонимии

Решения занесение лексических единиц и их сочетаний в автоматический словарь. усовершенствование способа описания лексических единиц в автоматическом словаре

Анкетирование корреляция критериев: понятности и лексической правильность связности и грамматической правильности тексты в целом являются приемлемыми завышенные ожидания анкетируемых

Итог Необходимость организации и обеспечения эффективной обратной связи между пользователем и разработчиком для получения качественного машинного перевода