Google представила новую модель искусственного интеллекта для генерации видео под названием Lumiere. Она использует новую модель диффузии под названием Space-Time-U-Net, или STUNet. Эта модель определяет местоположение объектов в видео (пространство) и одновременно отслеживает их движение и изменение (время). Метод STUNet позволяет Lumiere создавать видео в одном процессе, в отличие от сборки множества небольших кадров.

Lumiere начинает с создания базового кадра по заданию. Затем она использует фреймворк STUNet для приблизительного определения движения объектов внутри этого кадра, создавая дополнительные кадры, которые плавно переходят друг в друга, создавая впечатление непрерывного движения. В результате Lumiere создает 80 кадров, в то время как у Stable Video Diffusion их всего 25.

Источник: Ars Technica