Стоит читать если: вы работаете с генерацией видеоконтента или интересуетесь технологиями создания иммерсивных медиа. Можно пропустить если: ваша сфера не связана с обработкой изображений и видео.
StereoCrafter2: новое качество иммерсивного видео
Улучшенная точность. StereoCrafter2 от Tencent ARC Lab представляет собой прямое обновление к предыдущей модели StereoCrafter, сфокусированное на повышении точности генерации иммерсивных видео. Это означает, что новая модель призвана производить более реалистичные и детализированные стереоскопические видеоряды, чем её предшественница.
Основа на диффузионных моделях. Как и первая версия, StereoCrafter2 продолжает использовать подход, основанный на диффузионных моделях, для создания длинных и высокоточных стереоскопических 3D-видео из монокулярных источников. Исследовательская работа по оригинальной StereoCrafter была опубликована 11 сентября 2024 года.
Доступность на Hugging Face. Модель доступна для сообщества на платформе Hugging Face под названием TencentARC/StereoCrafter2. Согласно информации от разработчиков, на данный момент модель не развёрнута ни одним из провайдеров инференса.
Что это значит
Вектор развития VR/AR. Обновление StereoCrafter2 подчёркивает продолжающийся интерес Tencent к развитию технологий генерации иммерсивного контента. Для инженеров, работающих в сфере VR/AR, это означает появление более совершенных инструментов для создания высококачественных 3D-видео из существующих 2D-материалов, что может ускорить разработку и удешевить производство контента.