VideoPoet

VideoPoet от Google Research представляет собой значительное развитие в области генерации видео, особенно в создании больших, интересных и высококачественных движений. Этот инструмент используется для преобразования авторегрессионных языковых моделей в генератор видео высокого качества. Он включает в себя такие компоненты, как токенизатор видео MAGVIT V2 и токенизатор аудио SoundStream, которые преобразуют изображения, видео и аудиоклипы переменной длины в последовательность дискретных кодов в едином словаре. Эти коды связаны с текстовыми языковыми моделями, что позволяет интегрировать их с другими модальностями, такими как текст. Авторегрессионная языковая модель, используемая в этом инструменте, обучается на видео, изображениях, аудио и текстах, чтобы предсказывать следующий видео- или аудиотокен в последовательности. Она также объединяет многомодальные генеративные цели обучения в рамках тренировки, такие как текст-видео, текст-изображение, изображение-видео, продолжение видеофреймов, видеоинпейнтинг и аутпейнтинг, стилизация видео и видео-в-аудио. VideoPoet может генерировать видео в квадратной ориентации или портретном формате для короткого контента. Он также поддерживает генерацию аудио из видео. Благодаря возможности многозадачности с различными видеоцентричными входами и выходами, VideoPoet демонстрирует, как языковые модели могут синтезировать и редактировать видео с желаемой временной согласованностью.