Долой сферических коней или как мы измеряем качество перевода по 5-балльной шкале

Качество

На тему стандартов качества переводов уже сломано столько копий, голов и мозгов, что что бы я сейчас ни написал, скорее всего я изобрету велосипед. И всё же, за 20 лет практики я пришел к выводу, что ни алгоритм исполнения (1 переводчик + 1 редактор + 1 корректор), ни мудрёные классификации  категорий и значимости ошибок (о них ниже) не гарантируют безупречного исполнения.

В 2007 году я столкнулся впервые с моделью оценки LISA — пришел заказ на оценку стороннего перевода. Если память не изменяет, там нужно было на  1000 слов выловить все ошибки, и рассортировать их по 7 категориям:

  • смысловая,
  • терминологическая,
  • грамматическая,
  • пунктуационная,
  • орфографическая,
  • стилистическая;
  • локализационная. 

Затем каждой ошибке надо было присвоить свой вес:

  • критичная, 
  • грубая, 
  • незначительная, 
  • вкусовая. 

Оценка качества по этой модели превращается в очень трудозатратный, неблагодарный и дорогой академический экзерсис, который впрочем тоже не дает гарантий получения, например, качественного рекламного перевода, где вынужденная игра слов или выправление косяков автора будут приводить к снижению или балла, или реального качества перевода (особенно, если проверяющий неопытный и следует требованиям формально).

Кроме того, проверяющий (а это обычно специалист высокой квалификации, который был бы полезнее на проекте) расходует своё время нерационально, тратя время на описание ошибок в заведомо неудачном предложении — если перед ним подстрочник, ему приходится объяснять ещё и другие ошибки, которые уже не имеют никакого значения.

И, наконец, я часто сталкивался, что бюро переводов, работающие по этой модели, обещают нереалистичные цифры — например, что на 1000 слов у них будет только 4 штрафных балла (т.е. 4 незначительных ошибки, типа пропущенной спорной запятой, на 4 страницы). Можете резать меня на куски — я не видел ни одного перевода, который отвечал бы таким критериям. Другое дело, что редактор каких-то недочётов не видит, но это уже вопрос квалификации редактора.

Все эти грустные размышления и некий тупик в обсуждении с клиентами внятных, измеряемых гарантий качества привели меня к тому, что надо изобретать свой велосипед по оценке качества.

Прежде чем я его опишу пошагово, я поясню, как в моём понимании выглядит процесс перевода профессиональным переводчиком.

Этот процесс я разбиваю на следующие этапы, которые следуют один за другим и ни в коем случае не должны накладываться друг на друга:

  • Понимание идеи/месседжа автора на языке оригинала.
  • Пересказ идеи на языке перевода + проверка полноты пересказа.
  • Проверка терминологии.
  • Полировка пересказа таким образом, чтобы он был понятен с первого прочтения.
  • Отсечение лишнего + корректировка эмоциональной окраски (для творческих, рекламных переводов).

Почему этапы не должны накладываться друг на друга? — Потому что, если вы начнете переводить, не поняв до конца, что имел в виду автор — вы либо сделаете подстрочник, либо просто напишете чушь.

Почему не надо фильтровать термины, пока не перенес весь смысл? — Потому что это будет попыткой усидеть на двух стульях — и за однородностью терминов не уследите, и смыслы пропустите.

Почему не надо отсекать лишнее, пока фраза не отполирована? — Потому что при полировке у вас фраза ещё сто раз поменяется, а отсечение лишнего — трудоемкий процесс, просто сделаете двойную работу.

Почему именно в таком порядке? — Потому что, если переводчик сделал офигенно гладкий перевод, всё вычистил, вылизал, но неверно понял мысль автора — то все его старания не стоят ровным счётом ничего.

В общем, надеюсь, убедил, если не убедил, но хотите обсудить — пишите в личку.

Далее.
Я предлагаю давать оценку переводу в зависимости от ценности, который он собою представляет, и трудозатрат переводчика.
Ценность перевода — в доходчивости изложенной идеи.

Поэтому, если просто поняли оригинал, но не смогли полностью отразить идею — считайте, что перевода и не было — 0,0 баллов.
Если смогли перетащить идею в перевод полностью — получаете 2,0балла.
Если полностью отразили смысл + правильно нашли все термины — получите ещё 1,0 балл
Если вы вычитали текст, вычистили орфографические и грамматические ошибки, отполировали стиль — держите ещё 1,0 балл.
Если смогли выразить мысль компактнее, чем автор (обычное дело) — получите бонусные 1,5 балла.

Проверяющий должен прекратить проверку предложения — пусть даже и прекрасно сформулированного, — если видит там хотя бы одну смысловую ошибку. Иными словами — увидели ошибку, останавливайте проверку на соответствующем этапе, дальше дороги нет.

Таким образом, получается, что идеальный перевод по такой модели это 5.5 баллов (пятерка с плюсом). Цифра, пожалуй, нереальная.

Опираясь на эту систему оценок, можно обсуждать с клиентом, например, такие уровни качества переводов:

4,5 балла — хороший рекламный перевод. Переводчик полностью передал идею без терминологических, стилистических, грамматических и орфографических ошибок и хотя бы в 30% случаев компактнее, чем автор.

4,0 баллов — хороший технический перевод. Компактность там некритична, абсолютная грамотность (как бы ни хотелось граммар-наци), тоже. Зато критически важна полная передача идеи без ошибок в терминах, большинство предложений должно быть понятно с первого прочтения (т.е. должен быть хороший стиль). Однако нужно понимать, что если орфографические-грамматические-стилистические ошибки приводят к непониманию или искажению смысла, то они превращаются в смысловые. Со всеми вытекающими.

Поскольку мы эту систему уже начали применять в бюро, и частично в школе переводчиков, поделюсь некоторыми наблюдениями:

  • Я не видел, чтобы текст кишел языковыми ошибками, но при этом был красиво сформулирован. Поэтому получается обычно так, что если текст сформулирован гладко, то в нем нет или почти нет грамматических и орфографических ошибок.
  • Переводчикам сложнее всего справляться с длинными предложениями. Поэтому, если нам надо проверить перевод выборочно, мы отбираем самые длинные сегменты, которые в сумме дают заданный объём.
  • Мы обязательно учитываем вес предложения, за большое предложение оценка весомее, чем за маленькое. (Иначе будет, как в анекдоте: «Один рябчик — один конь»).
  • Проверка 500 слов (3600 знаков) занимает в среднем 30 минут и требует меньше квалификации от проверяющего (ему не надо описывать все ошибки, достаточно описать первую обнаруженную). Это существенно снижает стоимость и время оценки по сравнению с моделью LISA и позволяет включать её в проектный цикл.
  • Качество перевода перестает быть неким сферическим конём в вакууме, и разговоры с новым клиентом можно строить более предметно: «Вам нужен англо-русский ИТ-перевод? Уровень на 3,50балла стоит 2,5 рубля, на 4,0 балла стоит 3,0 рубля, на 4,5 баллов стоит 4.0 рубля».  Клиент понимает, что он получит перевод на 3+, на твёрдую 4 или на 4+ (обычно, клиента меньше всего волнует, через сколько глаз/специалистов прошел перевод, ему важен результат).  Кроме того, пятибальная система оценки нам всем знакома ещё со школы.
  • Передача смысла и передача идеи — разные вещи. Я требую от переводчиков именно передачу идеи (особенно в рекламных переводах). Разница вот в чём. Возьмем английскую поговорку: “A picture is worth a thousand words”. Смысловой перевод будет «Картинка равна тысяче слов». А вот идею передает фраза «Лучше один раз увидеть, чем сто раз услышать».
  • Мне переводчики иногда жаловались, что невозможно сказать короче, чем автор. Ни разу не встречал таких текстов. Везде можно избавляться, как минимум, от наречий, усиливая нейтральные глаголы  — уже будет экономия.
    Например, «он начал что-то тихо говорить» — «он замямлил».
    Есть ещё куча приёмов на тему сокращений — читайте Ильяхова/Главред, можно мои публикации (я часто на эти темы пишу).

 

Автор: Евгений Бартов (Бюро переводов «Альянс ПРО»)

Источник

Оцените статью