Яндекс выложил в открытый доступ Alice AI Search Pretrain — свою собственную обученную с нуля языковую модель. Компания впервые раскрыла детали архитектуры быстрых ответов Алисы и сделал базовую модель Alice AI Search доступной на Hugging Face. С июня в Поиске используется ее доработанная версия. Модель включает 35 миллиардов параметров, однако при обработке одного токена задействуется лишь около 600 миллионов — менее 2%. Это стало возможным благодаря разреженной архитектуре MoE, которая активирует только часть блоков модели при обработке каждого токена.
Компания также уменьшила объем текста, который получает модель. Специальный экстрактор на 80 миллионов параметров выбирает из найденных документов фрагменты, наиболее релевантные запросу. По данным Яндекса, сокращение контекста повысило пропускную способность системы примерно на 40% при сохранении качества ответов.
Эти улучшения ускоряют обработку запросов и снижают вычислительные затраты. Для Поисковой системы, обслуживающей десятки миллионов пользователей, это критически важно для обеспечения быстрой генерации ответов и уменьшения времени ожидания.
Важно отметить, что базовая модель доступна для изучения, но доработанная версия из Поиска и оптимизированная система ее запуска остаются внутренними разработками Яндекса. Это позволяет исследователям изучать архитектуру и запускать модель через Hugging Face, но готовая система быстрых ответов не публикуется.
Источник: пресс-релиз Яндекса
Читайте также по теме:
Яндекс открыл малому и среднему бизнесу доступ к «Панораме»