Google впервые продемонстрировал Lumiere

Google впервые продемонстрировал Lumiere — модель пространственно‑временной диффузии для создания реалистичных видео с помощью искусственного интеллекта. Протестировать Lumiere пока нельзя, но уже сейчас можно ознакомиться с подробным описанием технологии и посмотреть презентацию.

Что может и как работает Lumiere

Lumiere синтезирует видео с реалистичным, разнообразным и связным движением. Через текстовые команды на естественном языке пользователи могут создавать и редактировать видео. Также они могут загрузить фото или иллюстрацию, дать модели команду преобразовать картинку и получить из неё видеоролик.

Также Lumiere поддерживает дополнительные функции:

• рисование — добавляет на видео новые объекты;

• cinemagraph — добавляет движения на неподвижное изображение и создаёт из него ролик;

• стилизацию — переносит стиль с картинки на видео.

Известно, что видеомодель Lumiere обучалась на наборе данных из 30 миллионов видео вместе с их текстовыми описаниями. Она способна генерировать 80 кадров за 5 секунд — со скоростью 16 кадров в секунду. Однако пока источник этих данных остаётся неясным.

Также недавно Google AI начал работать с поисковыми объявлениями. Первая новинка — диалоговый чат на базе Gemini.