Одна из главных проблем в генерации видео — сохранение логики и связности на длинной дистанции. Tencent ARC Lab выпустила модель Looking-Ahead, которая решает эту задачу, активно "заглядывая вперед" при создании каждого следующего фрагмента.
Модель Looking-Ahead использует подход Future Chunk Prediction (FCP) в авторегрессионной генерации. Это позволяет ей предсказывать развитие видеоряда и создавать последовательные кадры, опираясь не только на уже сгенерированное прошлое, но и на ожидаемое будущее. Такой метод помогает избежать накопления ошибок и разрывов в логике видео, что критично для продолжительного контента.
Tencent выпустила четыре версии весов модели на Hugging Face: 1.3B и 5B, по две для FCP и Teacher Forcing (TF). Общий объем файлов составляет примерно 63.2 GiB. Эти модели предназначены для использования с соответствующими конфигурациями из репозитория кода Looking-Ahead.
Авторегрессивная видеогенерация, на которой основана Looking-Ahead, последовательно создает кадры, обуславливая каждый на предыдущих, что обеспечивает высокую временную когерентность. Инновации, подобные FCP, направлены на минимизацию смещения экспозиции и ошибок, что позволяет создавать более длинные и качественные видео.
Looking-Ahead представляет собой шаг в сторону создания по-настоящему связных и длинных видео, решая одну из ключевых проблем генеративного ИИ — сохранение контекста во времени. Однако Tencent не предоставила конкретных бенчмарков или примеров, демонстрирующих улучшение качества и длины видео по сравнению с другими авторегрессионными моделями.