Алиса в Яндекс Браузере научилась описывать картинки для незрячих и слабовидящих

Алиса в Яндекс Браузере научилась описывать картинки для незрячих и слабовидящих

Теперь нейросеть Алиса в Яндекс Браузере может распознавать изображения в интернете и создавать их текстовые описания. Это нововведение позволит незрячим и слабовидящим пользователям получать доступ к визуальному контенту, такому как иллюстрации в статьях, фотографии товаров на сайтах интернет-магазинов или изображения в социальных сетях.

Алиса предоставляет информацию о том, что изображено на картинке, и может подробно описывать детали по запросу пользователя. Например, она способна проанализировать фотографию платья в интернет-магазине и рассказать о его цвете, фасоне и посадке.

В основе функции лежит мультимодальная нейросетевая модель, которая анализирует как текст, так и изображения. Она не только распознаёт отдельные элементы, но и понимает их взаимосвязь, контекст и общий смысл, что позволяет создавать лаконичные и информативные описания.

Чтобы воспользоваться функцией, достаточно выбрать опцию «Описать картинку» в контекстном меню или на панели инструментов, либо активировать фокус программы экранного доступа на изображении. В Яндекс Браузере для Windows, iOS и Android Алиса не только генерирует, но и озвучивает описания.

Управление функцией осуществляется в настройках Браузера в разделе «Специальные возможности». При активации программы экранного доступа Алиса будет создавать описания только для тех изображений, на которые пользователь может направить фокус. Поэтому при разработке веб-сайтов важно учитывать принципы доступности, чтобы интернет был удобен для всех пользователей, включая незрячих и слабовидящих.

Алису внедрили в Яндекс Путешествия для описания отелей и апартаментов

Яндекс Путешествия внедрили нейросеть Алису для автоматического составления описаний отелей и апартаментов. Это позволит путешественникам быстро получать полную информацию не только о самом жилье, но и о его окружении, а отельерам и владельцам апартаментов — увеличить конверсию в бронирования.

Алиса формирует описания на основе данных, предоставленных владельцами в Яндекс Бизнесе и Экстранете Яндекс Путешествий. В процессе она учитывает отзывы гостей, а также информацию о достопримечательностях и интересных местах поблизости — от кафе и ресторанов до музеев и парков. Например, если объект расположен у моря, Алиса акцентирует внимание на близости пляжа и кратко описывает его особенности.

На данный момент Алиса подготовила описания для всех российских отелей и апартаментов, доступных на Яндекс Путешествиях. При обновлении данных владельцем в Яндекс Бизнесе или Экстранете, описание автоматически обновляется. Внести изменения можно и вручную, обратившись в службу поддержки Яндекс Путешествий.

Кроме того, владельцам апартаментов стала доступна еще одна функция на базе искусственного интеллекта — автоматическое распределение фотографий по помещениям. Для этого нужно загрузить снимки в личный кабинет в Экстранете и нажать кнопку «Распределить». ИИ проанализирует изображения и самостоятельно разложит их по папкам: «Спальня», «Гостиная», «Ванная комната» и другие.