Генеративные модели часто дают убедительные результаты, но до сих пор не хватало прямого и точного управления пространственным расположением объектов или их движением в видео. Stability AI представила две новые системы — Arbor и 4Director, которые позволяют инженерам и дизайнерам задавать явные 3D-ограничения для статических ассетов и контролировать динамику в видео.
Arbor — это обучаемое дополнение для генерации 3D-объектов по тексту, которое вводит сетки ограничений (constraint meshes) как нативный 3D-интерфейс. Эти сетки определяют области, где геометрия должна присутствовать (hull), где её не должно быть (avoidance), и где объект должен касаться других поверхностей (touch). Arbor преобразует эти сетки в токены и интегрирует их в замороженный денойзер, что улучшает соблюдение геометрических требований при генерации.
Система 4Director расширяет концепцию точного контроля на видео, предлагая управлять движением камеры и объектов. Она использует явное 4D-представление сцены, где каждый объект сначала реконструируется как каноническая 3D-сетка из входного изображения, а затем перемещается по заданным жестким преобразованиям в каждом кадре. Такой подход обеспечивает согласованность геометрии объектов на протяжении всего видео и предотвращает независимую регенерацию скрытых частей.
Для обучения 4Director был создан новый датасет RealCOD-Rigid, включающий 20 774 видеоклипа с аннотированными жесткими 3D-сценами. Также введена метрика Identity-Gated IoU (IG-IoU), которая оценивает одновременно соблюдение заданного движения объектов и сохранение их идентичности.
Эти разработки — важный шаг к тому, чтобы генеративный ИИ стал не просто инструментом для создания «чего-то похожего», а точным инструментом для дизайнеров и инженеров, которым нужен полный контроль над результатом. Однако Stability AI не сообщает, когда эти технологии станут доступны в продуктах для широкой публики или разработчиков.