Полностью контролировать траекторию объектов, движения камеры и монтажные склейки в AI-видео до сих пор было сложно. Fal представила конвейер, который превращает 3D-сценарий в фотореалистичный экшн-фильм именно с таким уровнем контроля, выпуская при этом обновлённый адаптер 3DREAL Strong v2.
Идея Fal в том, чтобы разделить задачи: 3D-сцена владеет геометрией, а AI-модели — финальным видом. Это позволяет точно задавать движение, время и расположение камеры, что трудно достичь с помощью обычных моделей image-to-video или reference-to-video, которые часто упускают детали композиции и хореографии.
Конвейер состоит из трёх ключевых этапов:
- 3D-блок-аут — создание сцены с геометрией, камерами и движением в 3D-редакторе (например, Blender). Здесь задаются все действия, анимация, ракурсы и склейки.
- Image models — создание референсных изображений для каждого кадра, которые определяют визуальный стиль. Важно, чтобы первый кадр каждой сцены содержал все ключевые элементы, иначе модель может «додумывать» их.
- Render-to-real — превращение чернового 3D-рендера в фотореалистичное видео. За это отвечает LoRA-адаптер 3DREAL для модели LTX 2.3.
Новый адаптер 3DREAL Strong v2 (который уже доступен на Hugging Face и в хостинг-эндпоинте fal.ai) получил ряд улучшений:
- Мультисценность — сохраняет связность между отдельными кадрами и сценами в одном видеоролике.
- Аудио — генерирует синхронизированный звук для сцен с диалогами.
- Говорящие персонажи — улучшена детализация лиц, мимика и синхронизация губ.
- Высокое качество — более резкий, детализированный и фотореалистичный результат.
Fal подчёркивает, что этот конвейер — не «магия одного промпта». Он требует итераций и валидации на каждом этапе: сначала проверяется 3D-сцена, затем сгенерированные изображения, и только потом — видео. Такой подход позволяет исправлять ошибки до финальной генерации.
Fal предлагает подход, где 3D-сценарий становится фундаментом для AI-генерации, обеспечивая предсказуемость, недостижимую для других моделей. Это решает проблему контроля над действием, но требует детальной работы на каждом этапе, а не быстрой «однокнопочной» генерации.