Я.Браузер научился переводить текст с картинок

Яндекс.Браузер научился переводить текст на картинках – не нужно вручную переносить текст в переводчик или загружать картинку в сервис распознавания.

Зачем это нужно

Это удобно, когда страница почти целиком состоит из изображений. Например, когда вы покупаете товар в иностранном интернет-магазине и карточки товаров нельзя перевести автоматически.

Как работает переводчик

После перевода страницы на нужный язык у всех изображений больше 200x200 пикселей появляется всплывающая кнопка с предложением перевести текст.

Далее вы нажимаете на эту кнопку и изображение отправляется в Яндекс.Переводчик, а затем возвращается обратно, но уже с текстом на нужном языке.

Любые изображения можно переводить по пункту из контекстного меню, не переводя всю остальную страницу.

Чтобы переведённый текст выглядел аккуратно и сохранял смысловую нагрузку, переводчик делит текст на блоки и форматирует его: двигает слова, масштабирует шрифт и подбирает фон.

Яндекс продолжает дорабатывать алгоритмы распознавания контекста при переводе. В будущем компания планирует сделать так, чтобы Браузер понимал, на каких изображениях есть текст, и предлагал перевести только их.

Новый мобильный переводчик уже можно попробовать в бета-версии для Android. Технология доступна для Windows и macOS. В ближайшее время она появится на Linux и в мобильной версии для Android, а до конца года — в версии для iOS.