Яндекс оптимизировал обучение нейросетей, сэкономив 4,8 млрд рублей в год

Яндекс оптимизировал обучение нейросетей, сэкономив 4,8 млрд рублей в год

Яндекс улучшил процессы обучения больших языковых моделей, сохранив качество и масштабы разработок. Ключевым технологическим решением стала библиотека YCCL (Yet Another Collective Communication Library).

Компания сообщила, что YCCL вдвое ускорила обмен данными между графическими процессорами и уменьшила объём передаваемой информации. При этом управление было перенесено с графических процессоров на центральные.

В Яндексе отметили, что библиотека масштабируется на крупные кластеры, а её аналоги есть только у мировых лидеров, таких как Nvidia, AMD и китайские IT-гиганты.

Дополнительные преимущества дало использование формата FP8 с пониженной точностью вычислений. Этот подход позволяет быстрее обучать нейросети и экономить ресурсы. Благодаря FP8 удалось увеличить скорость обучения моделей на 30% и сократить обмен данными вдвое, подчеркнули в компании.

Кроме того, Яндекс исследовал влияние увеличения объёма передаваемых данных на обучение моделей. Было установлено, что это не приводит к замедлению процесса. Компания увеличила батч до 16–32 млн токенов, что позволило минимизировать простои графических процессоров.

Оптимизация позволила Яндексу сократить операционные расходы на 4,8 млрд рублей в год (в среднем 400 млн рублей в месяц).

Источник: пресс-релиз Яндекса

Читайте также по теме:

Яндекс опубликовал финансовые результаты за IV квартал 2025 года и весь 2025 год

Алиса AI теперь доступна в формате инлайн-бота в Telegram

Яндекс запустил новый сценарий для совместного продвижения вендоров и ритейлеров в ЕПК