Оценка качества письменного перевода: приёмы джедаев Демид Тишин бюро переводов «Окей» Translation Forum Russia 2011

Качество перевода как продукта Качество перевода: совокупность свойств, которые определяют, может ли перевод удовлетворять потребности пользователей в соответствии с назначением.

Выгоды от оценки качества Заказчик-исполнитель: разрешение споров Эффективные тендеры Оптимизация процесса производства Постановка конкретных целей в области качества и их достижение, в результате – повышение удовлетворённости заказчиков и конечных пользователей, улучшение финансовых показателей

Определитесь с тем, что вы оцениваете Качество текста? Близость к идеалу? (их множество) Компетенции исполнителей? (оценка не привязана к требованиям клиента) Удовлетворённость заказчика? (изменчива) Удовлетворённость конечного пользователя? (изменчива и трудноизмерима) Соответствие процедуре выполнения? (разные процедуры могут давать один результат)

Составьте спецификацию на проект Лебедь, рак и щука: конечный пользователь, заказчик, менеджер по переводу и исполнитель могут по-разному понимать потребности пользователя! Требования заказчика со временем могут меняться Перевод – клубок противоречивых требований (лебедь, рак и щука II: кошмар возвращается)

Возможные требования Факты оригинала Предметная компетенция читателя Связность и логичность Рекомендации языка перевода Правила языка перевода Экспрессивность оригинала Потребности читателя Культурная компетенция читателя Культурные реалии оригинала Правила издательского оформления Вёрстка оригинала

Составьте спецификацию на проект Обеспечение всех компонентов качества неоправданно затратно Конечному пользователю обычно не нужны все возможные аспекты качества Требования к переводу заказчиков из одной отрасли могут быть разными Требования одного и того же заказчика к разным переводам могут быть разными

Составьте спецификацию на проект Зафиксируйте в письменном виде Используйте дерево параметров Придерживайтесь ISO 11669* Только существенные аспекты Для компонентов качества не нормативного характера сделайте упор на деталях Укажите, как решать противоречия в требованиях Утвердите у заказчика * Стандарт в планируется к публикации весной 2012 г.

Составьте спецификацию на проект

Проверяйте выборочно Весь текст, слов% на проверку до % текста от до % текста от до % текста Случайные (но связные) фрагменты текста 1 фрагмент – 1 предметная область Размер каждого отрывка = слов (меньший объём не позволит оценить связность и логичность текста, больший помешает проверить достаточно фрагментов для получения целостной картины)

Упростите промежуточную оценку (между этапами работы) Привлекайте 1 эксперта Исправляйте в режиме рецензирования вместо маркировки типа ошибок Интуитивная (неструктурированная) оценка Возвращайте на доработку всегда, когда возможно

Упростите промежуточную оценку (между этапами работы)

Ретроспективную оценку делайте редко, но метко Привлекайте 2 (или 3) экспертов Познакомьте экспертов друг с другом Проверяйте последовательно (видны комментарии предыдущего проверяющего) Дайте второму эксперту право решающего голоса Исправляйте в режиме рецензирования Заполняйте формы оценки согласно спецификации (структурированная оценка)

Итоговый вывод о качестве делайте на основе частных аспектов Термино логия ЯзыкСтильКультурн ые реалии Итоговая оценка PassPartial Pass FailPassPartial Pass ГрамматикаОрфографияПунктуацияЯзык Pass FailPartial Pass

Ретроспективную оценку делайте редко, но метко Предпримите действия по результатам: Корректировка системы мотивации Поощрение и наказание исполнителей Пересмотр базы ресурсов Корректировка техпроцесса

Комбинируйте или чередуйте оценку разными сторонами 1 st -party assessment БыстраяПредвзятая 2 nd -party assessment Лучше учитывает нужды конечного пользователя Неструктурир ованная 3 rd -party assessment Наиболее объективная Затратная

Используйте TM Сегментированный параллельный текст проще сверять – заметны смысловые ошибки Поиск формальных ошибок можно автоматизировать (X-Bench, Error Spy, QA Distiller, SQL-запросы DVX2 и т.п.)

Используйте TMS Translation management system (TMS) позволяет автоматизировать рутинные операции (перенесение оценок в базу, накопление статистики)

Будьте объективны Стилистические предпочтения ошибки Для любого оригинала существует множество хороших вариантов перевода Психологическая установка: проверяющий должен думать не о поиске максимального количества ошибок, а об оценке качества

Упрощайте обратную связь исполнителям Для очевидных ошибок не указывайте тип, просто исправляйте Поясняйте только стилистические ошибки / ошибки, привязанные к особому типу текста (напр., локализация ПО)

При использовании TQI помните о спецификации TQI (translation quality index) – интегральный численный показатель качества = сумма баллов ошибок / количество слов (SAE J2450, LISA QA Model 3.1, ATA Framework), напр. «94,5». Классификатор ошибок и (или) система взвешивания ошибок должна базироваться на требованиях заказчика, иначе мы оцениваем «близость к идеалу», а не качество текста.

Не используйте TQI для тестирования исполнителей Не отражает сильных и слабых сторон переводчика Действителен только для узкой предметной области и типа текста (например, инструкция по эксплуатации газовых турбин)

Не используйте спецификацию тестирования исполнителей Оценка качества: засчитываются ошибки, существенные для заказчика Оценка компетенций: засчитываются все ошибки Клиент: «Орфография не важна качество нормальное!» Менеджер по персоналу: «Владение языком перевода – неуд!»

Для тестирования исполнителей используйте простой классификатор ошибок Carefulness (С) Source language (SL) Target language (TL) Subject matter (SM) Literary (L) Technical (T) Regional standards (RS)

Для тестирования исполнителей привлекайте 2 экспертов Более точная оценка Взаимный контроль Выработка одинаковых критериев оценки

Для спорных случаев сделайте правила Допустимое кол-во ошибок, на слов NormalMaster Competences Carefulness41 Source language41 Target language84 Subject matter84 Literary84 Technical84 Regional standards84

Основные приёмы Составьте спецификацию Проверяйте выборочно Комбинируйте интуитивную и структурированную оценку Для тестирования исполнителей и ретроспективной оценки привлекайте 2 экспертов Упрощайте обратную связь Используйте TM и TMS

Частные приёмы Однотипные ошибки: - при оценке качества – считайте каждый раз, как они встречаются - при тестировании исполнителей – считайте только 1 раз Количество элементов во фрагменте количество ошибок (пропуск обеих запятых у деепричастного оборота = 1 ошибка)

Частные приёмы Если недочёт перевода обусловлен неустранимыми дефектами оригинала, ошибка не зачитывается Если вы не уверены, имеет ли место ошибка / затрудняетесь в выборе типа ошибки: - при оценке качества – считайте, что ошибка есть / выбирайте ошибку с бóльшим весом - при тестировании исполнителей – считайте, что ошибки нет / выбирайте ошибку с меньшим весом

Да пребудет с вами сила!