О ЦЕНКА КАЧЕСТВА ПЕРЕВОДОВ от TQI к компетенциям Демид Тишин Бюро переводов «Окей»

О чём думают эти люди, глядя на текст перевода? 2

Клиент: Пойдёт или нет? Как бы придраться… 33

Менеджер по качеству: Пойдёт или нет? Как бы не придрались… 4

Менеджер по персоналу: Какую работу можно доверять этому исполнителю? Какую нельзя? Как быстро можно его обучить? 5

Менеджер проектов: Вернуть на доработку или самим исправить? 6

Для ответа на эти вопросы текст перевода нужно оценить 7

О ЦЕНКА ПЕРЕВОДА : ЧТО В АРСЕНАЛЕ ? Какие способы оценки перевода вы знаете? 8

О ЦЕНКА ПЕРЕВОДА : ЧТО В АРСЕНАЛЕ ? Субъективная оценка («хорошо-плохо») Автоматическое сравнение с «образцовым» переводом (BLEU и т.п.) Сравнение с оригиналом по набору параметров Взвешивание ошибок и подсчёт TQI 9

С УБЪЕКТИВНАЯ ОЦЕНКА (« ХОРОШО - ПЛОХО ») Плюсы Минусы Скорость Низкая повторяемость результатов Клиенту и исполнителю сложно прийти к единому мнению Низкая воспроизводимость результатов Невозможно аргументировать результаты оценки Ничего не говорит о возможностях исполнителя 10

С РАВНЕНИЕ С ОРИГИНАЛОМ ПО НАБОРУ ПАРАМЕТРОВ Плюсы Минусы Имеется аргументация результатов оценки Низкая повторяемость результатов Клиенту и исполнителю сложно прийти к единому мнению Низкая воспроизводимость результатов Ничего не говорит о возможностях исполнителя 11

А ВТОМАТИЧЕСКОЕ СРАВНЕНИЕ С « ОБРАЗЦОВЫМ » ПЕРЕВОДОМ Чем больше последовательностей слов совпадает в переводе и в образце, тем точнее перевод BLEU (BiLingual Evaluation Understudy ), ROUGE и др. Вводная статья о методике BLEU: Tomedes Blog translation-quality/ translation-quality/ 12

А ВТОМАТИЧЕСКОЕ СРАВНЕНИЕ С « ОБРАЗЦОВЫМ » ПЕРЕВОДОМ 13

А ВТОМАТИЧЕСКОЕ СРАВНЕНИЕ С « ОБРАЗЦОВЫМ » ПЕРЕВОДОМ Плюсы Минусы Скорость Не учитывает индивидуальный стиль переводчика Ограниченная сфера применения Не совпадает с человеческой оценкой Нужно подготовить большое количество образцов перед каждой оценкой (подходит только для типового тестирования) Ничего не говорит о возможностях исполнителя В каких единицах устанавливать порог приемлемого качества? 14

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI Кто использует? Lionbridge, Aliquantum, Logrus, Palex и многие другие Существующие общедоступные системы: - SAE J ATA Framework for Standard Error Marking - LISA QA Model 3.1 Обзор систем типа TQI с рекомендациями по созданию собственной:

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI Необходимые компоненты системы: Классификатор ошибок Методика взвешивания ошибок Процедура проверки, дающая повторяемые и воспроизводимые результаты Проверяющий (компетентный и беспристрастный) Форма оценки 16

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI 17

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI 18

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI 19

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI TQI (Translation Quality Index) – это практический результат количественной оценки проверки качества перевода. ATA Framework: TQI = EP*(250/W) - BP SAE J2450: TQI = EP/W LISA QA Model:TQI = (1 - EP/W) * 100 гдеEP = Error Points, суммарное количество баллов ошибок W = количество слов в образце BP = Bonus Points, бонусные очки за отличный перевод (в системе ATA – максимум 3 балла) 20

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI Плюсы Высокая воспроизводимость результатов (SAE J2450) Высокая повторяемость результатов (SAE J2450) Детальный классификатор ошибок с примерами (LISA QA Model) Удобно давать обратную связь исполнителям Удобно ранжировать исполнителей по TQI на конкретный проект Простой числовой индекс, поддающийся статистическому учёту (можно использовать в balanced scorecard, KPIs и т.д.) 21

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI Минусы Ограниченная сфера применения (SAE J2450) Низкая воспроизводимость результатов (ATA Framework) Необходимо устанавливать порог приемлемого TQI (напр., 94,5 и т.п.), в то время как клиентам нужно только 100% качество Затратно по времени (5-20 минут на образец при условии предварительного изучения оригинала и нескольких переводов!) Субъективная система присвоения веса ошибкам – попытка прогнозирования последствий ошибки (LISA QA Model) Почти ничего не говорит о возможностях исполнителя 22

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI Минусы Недостаточно проработанная методика проверки, в т.ч.: - требования к образцу перевода (размер и т.д.) - как оценивать повторяющиеся однотипные ошибки? - как оценивать недочеты перевода, обусловленные неустранимыми недочетами оригинала? - как избежать равенства множества незначительных ошибок одной критической? - как быть со «случайными » ошибками, которые искажают фактический смысл текста? 23

В ЗВЕШИВАНИЕ ОШИБОК И ПОДСЧЁТ TQI Минусы TQI действителен только для: - конкретной области знаний (напр., газовые турбины, пищевое производство и т.д.) - конкретного типа текста (научно-технический, юридический, рекламно-публицистический) Даже при незначительном изменении любого из параметров (тематика, тип текста) прогнозировать TQI исполнителя на основе предыдущего опыта невозможно нужно тестировать заново неоправданные затраты 24

Ни один из способов оценки перевода не отвечает на вопросы: Пойдёт или нет? Какую работу можно доверять этому исполнителю? Какую нельзя? Как быстро можно обучить исполнителя? Вернуть на доработку или самим исправить? О ЦЕНКА ПЕРЕВОДА : ЧТО В АРСЕНАЛЕ ? 25

Необходимо улучшить систему оценки перевода. О ЦЕНКА ПЕРЕВОДА : ЧТО В АРСЕНАЛЕ ? 26

Разделить все ошибки на 2 основных типа: Фактические = ошибка в обозначении объектов и явлений, их логических отношений, степени реальности и обязательности событий Коннотативные = несоответствие правилам, стандартам, требованиям и практике употребления, искажение эмоционально-стилистической информации и т.д. У ЛУЧШЕНИЕ 1: ДЕЛЕНИЕ ОШИБОК 27

Каждый элемент текста (слово, фраза, предложение) может нести одновременно: 1 коннотативную ошибку или 1 фактическую ошибку или 1 коннотативную ошибку и 1 фактическую ошибку одновременно У ЛУЧШЕНИЕ 1: ДЕЛЕНИЕ ОШИБОК 28

Случайная ошибка исполнителя (например, опечатка), которая приводит к искажению фактической информации, зачитывается как две (языковая и фактическая). Это позволяет указать исполнителю на невнимательность, а также учесть интересы клиента «Казнить, нельзя помиловать» / «Казнить нельзя, помиловать»: ошибка в запятой критическое искажение смысла У ЛУЧШЕНИЕ 1: ДЕЛЕНИЕ ОШИБОК 29

Виды компетенций: Компетенции восприятия Компетенции порождения Вспомогательные компетенции У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ 30

Уровни компетенций: Неудовлетворительная = исполнитель не может выполнять соответствующую работу Базовая = может работать Продвинутая = может проверять / исправлять чужую работу либо обучать других людей У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ 31

Компетенции восприятия: Правила языка оригинала Литературная компетенция в языке оригинала Компетенция в культуре языка оригинала Предметная компетенция У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ 32

Компетенции порождения: Правила языка перевода Литературная компетенция в языке перевода Компетенция в культуре языка перевода Функциональный стиль перевода У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ 33

Вспомогательные компетенции: Исследовательская компетенция Техническая компетенция Самоорганизация Коммуникация Защита информации У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ 34

У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ Пример ошибки: t2: Использован термин из другой области знаний Напр., в тексте о бурении: шпиндель spindle (правильно: stem или mandrel) Компетенции: Исследовательская = удовлетворительно Предметная = неудовлетворительно 35

У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ 36

У ЛУЧШЕНИЕ 2: КОМПЕТЕНЦИИ Клиент может формулировать чёткие и объективные требования к исполнителю По результатам оценки мгновенно видно, какие компетенции соответствуют целевым, а какие нет 37

У ЛУЧШЕНИЕ 3: РОЛИ Установить связи между компетенциями и ролями (функциями, которые может выполнять исполнитель в проекте) 38

У ЛУЧШЕНИЕ 3: РОЛИ Пример компетенций: Самоорганизация = удовлетворительно Предметная = удовлетворительно Правила языка оригинала = удовлетворительно Правила языка перевода = удовлетворительно Роль: Может переводить 39

У ЛУЧШЕНИЕ 3: РОЛИ 40

У ЛУЧШЕНИЕ 3: РОЛИ Менеджер по персоналу / менеджер проекта быстро распределяет роли и планирует рабочий процесс (workflow) экономия времени 41

У ЛУЧШЕНИЕ 4: ДОПУСТИМОСТЬ ОШИБОК В каждом отдельном случае клиент указывает, какие ошибки являются допустимыми, а какие – нет. Проверяющий заносит требования в проверочный список. Одна ошибка «недопустимого» типа в образце Провал текста с точки зрения клиента 42

У ЛУЧШЕНИЕ 4: ДОПУСТИМОСТЬ ОШИБОК 43

У ЛУЧШЕНИЕ 4: ДОПУСТИМОСТЬ ОШИБОК Оценка соответствует реальным потребностям клиентов (pass / fail) 44

У ЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ Выделить в классификаторе 2 типа ошибок: Исправление требует минимального обучения / инструктажа; все ошибки в тексте может увидеть сам исполнитель Исправление требует значительного обучения; сам исполнитель не может обнаружить ошибки в тексте 45

У ЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ Ошибки, которые требуют минимального обучения: Сбивка деления на разделы Пропуски текста Несоответствие числовых значений Несоответствие глоссарию / руководству по стилю Несоответствие справочной литературе Нарушение единства терминологии Нарушение региональных стандартов оформления Длина строки, тэги Очевидные языковые ошибки … 46

У ЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ Ошибки, которые требуют значительного обучения: Понимание оригинала Предметная компетенция Чувство языка Культурные реалии … 47

У ЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ 48

У ЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ Какой процент ошибок требует минимального обучения? Менеджер проекта мгновенно принимает верное решение – возвращать на доработку или привлекать дополнительные ресурсы Экономия времени 49

У ЛУЧШЕНИЕ 5: ОБУЧАЕМОСТЬ ИСПОЛНИТЕЛЯ Если все ошибки, влияющие на компетенцию, просты для исправления, компетенция оценивается двумя способами: Текущее состояние («как есть») Потенциальное состояние (после короткого обучения) 50

З АМЕТКИ Исполнитель должен работать в нормальных условиях (достаточное время, рабочие инструкции) Образец должен ограничиваться одной основной тематикой в соответствии с классификатором Текст оригинала должен быть осмысленным и связным Необходимо различать ошибки и индивидуальные предпочтения исполнителей 51

П РИМЕР 52

П РИМЕР 53

П РИМЕР 54

П РИМЕР 55

В ЫГОДЫ Улучшенная система оценки переводов отвечает на все вопросы: Пойдёт или нет? – pass / fail Какую работу можно доверять этому исполнителю? Какую нельзя? – компетенции и роли Как быстро можно обучить исполнителя? – потенциальные компетенции Вернуть на доработку или самим исправить? – доля ошибок, требующих минимального обучения 56

В ЫГОДЫ Общий язык с клиентом (ошибки и компетенции) Экономия времени на тестировании исполнителей Планирование минимального и достаточного рабочего процесса Оптимальное использование ресурсов Сокращение сроков Повышение лояльности исполнителей (обратная связь и обучение) 57

БУДУЩЕЕ Обкатка системы Программная оболочка Интеграция с QA-инструментами 58

Спасибо! Вопросы? 59