Яндекс представил инновационный метод оценки и улучшения машинного перевода

Яндекс представил инновационный метод оценки и улучшения машинного перевода

Исследователи Яндекса разработали новую методику оценки качества машинного перевода, направленную на повышение естественности и точности текстов. Существующие системы часто упускают ошибки, такие как формальный тон в неформальном диалоге. Например, фраза sorry, my bad может быть переведена как «приношу извинения, это моя вина», вместо более естественного «извини, ошиблась». Новый метод RATE (Refined Assessment for Translation Evaluation) позволяет нейросетям лучше распознавать такие недочёты.

RATE не используется напрямую для обучения моделей, но помогает точно определить, где они ошибаются. Это позволяет улучшить их работу и сделать переводы более естественными для пользователей.

Методика RATE получила признание на международной конференции по машинному обучению EMNLP 2025, где выступили ведущие компании, такие как Microsoft Research, Google Research и OpenAI.

RATE оценивает перевод по трём ключевым критериям: точность передачи смысла, естественность языка и соответствие стилю оригинала. Это делает её применимой для различных типов текстов, включая новости, социальные сети и художественную литературу. Методика не только фиксирует ошибки, но и оценивает их значимость — от незначительных неточностей до серьёзных искажений.

Эксперименты на данных конкурса WMT показали, что RATE выявляет в семь раз больше ошибок, чем другие методики, такие как MQM и ESA. Это доказывает, что существующие методы не всегда способны уловить недочёты, заметные пользователям.

Современные модели машинного перевода значительно улучшили свою точность, но человеческий перевод остаётся эталоном естественности. Большая языковая модель Яндекса показала результаты, близкие к этому уровню, обойдя модели, такие как Claude‑3.5 и GPT‑4.