Создать цельную 3D-сцену по одной фотографии — давняя задача для генеративных моделей. Обычно они страдают от искажений масштаба и неточности геометрии. Kuaishou выпустила модель MetaView, которая решает эту проблему, комбинируя неявное моделирование сцены с минимальными, но важными явными сигналами 3D-глубины.
MetaView — это диффузионная модель для генерации новых видов сцены (Novel View Synthesis, NVS) из одной фотографии. Она позволяет рендерить сцены с высоким качеством даже при больших изменениях ракурса. Существующие методы либо требуют сложной 3D-реконструкции, либо страдают от дрейфа масштаба и неточной геометрии при полностью неявном моделировании. MetaView объединяет неявное моделирование с минимальными, но важными явными 3D-подсказками.
Для этого MetaView использует неявные геометрические приоритеты с учётом масштаба. Она извлекает иерархические признаки и метрическую глубину из нейросети Depth Anything 3 (ByteDance). Эти геометрические сигналы внедряются в предобученную архитектуру MM-DiT (на базе Qwen-Image-Edit) через параллельные слои внимания, что позволяет регулировать пространственную структуру, сохраняя при этом семантическое знание.
Чтобы решить проблему дрейфа масштаба, модель кодирует параметры камеры в модифицированное позиционное кодирование (PRoPE), выделяя дополнительное подпространство для оси Z. Это явно вводит метрические подсказки масштаба, привязывая генерацию к согласованному 3D-метрическому пространству.
В результате, MetaView по одной входной фотографии и целевой позе камеры генерирует новые виды с точным управлением камерой, высокой геометрической согласованностью и хорошей обобщаемостью между разными доменами.
MetaView от Kuaishou показывает, что можно добиться точности в синтезе 3D-видов из одного изображения, не жертвуя гибкостью диффузионных моделей. Интеграция явных 3D-подсказок в неявные архитектуры, вероятно, станет ключевым направлением для более реалистичной генерации 3D-контента. Однако, конкретные количественные метрики улучшений по сравнению с другими решениями в релизе не представлены.