LongCat Video

LongCat-Video — это универсальная модель генерации видео от meituan-longcat, разработанная на GitHub. Этот инструмент ИИ предназначен для выполнения множества задач в рамках одной системы генерации видео, включая преобразование текста в видео, перевод изображений в видеопоследовательности и генерацию продолжений в видео. Одной из ключевых особенностей LongCat-Video является его способность эффективно создавать длинные видео без потери качества или заметного изменения цвета. Он использует стратегию генерации от грубого к тонкому по временным и пространственным осям для повышения эффективности, особенно при высоких разрешениях. Модель была обучена с помощью Group Relative Policy Optimization, которая включает многоуровневое вознаграждение Real-life High Fidelity (RLHF) и обеспечивает конкурентоспособные результаты по нескольким метрикам по сравнению с ведущими открытыми и коммерческими моделями генерации видео. Более того, ИИ-модель представила выразительную функцию анимации персонажей на основе аудио, известную как LongCat-Video-Avatar, которая может нативно обрабатывать такие задачи, как преобразование аудио в текст и видео, генерация изображений из аудио и видео, а также продолжение видео. Она обеспечивает бесшовную совместимость как для одно- так и для многопоточных аудиовходов. Все технические отчеты, код вывода, веса модели и страницы проекта, связанные с LongCat-Video, доступны на GitHub.