Сохранить одного и того же персонажа или объект в нескольких кадрах AI-видео — одна из самых сложных задач генеративного AI. Luma показывает, как её новые инструменты, включая модель Ray3.2 и функцию Layers, позволяют достичь консистентности и точного управления в профессиональных рабочих процессах.
Основу для работы с видео закладывает модель Ray3.2, разработанная для обеспечения контроля и непрерывности. Она позволяет задавать до 16 ключевых кадров в одном клипе, определяя, какие элементы меняются, а какие остаются неизменными. Это даёт точную композицию кадра за кадром. Ray3.2 также умеет:
- Modify Video V2 — изменять существующие видео до 20 секунд в разрешении 1080p, сохраняя при этом освещение и движения.
- Motion Transfer — переносить динамику движения между персонажами, объектами и материалами.
- Character Transformation — превращать людей в новых персонажей, сохраняя их движения.
- Environment Change — трансформировать окружение, а также выполнять релайтинг и подмену продуктов в кадре.
Для работы с изображениями Luma предлагает функцию Layers, которая позволяет разделять содержимое картинки на индивидуально редактируемые элементы. Это превращает плоскую графику в многослойный редактор, где можно перемещать, переупорядочивать, скрывать, изменять или заменять отдельные части, не затрагивая остальную композицию. Например, можно передвинуть продукт, не перегенерируя фон, или заменить заголовок без создания всей рекламы заново.
Все эти возможности опираются на мультимодальную модель Uni-1, которая лежит в основе генерации пикселей. Uni-1 понимает намерения пользователя, реагирует на прямые указания и поддерживает генерацию с использованием референсов, что позволяет сохранять определённые стили или персонажей. Luma демонстрирует применение этих инструментов через различные руководства, объясняющие, как сохранять персонажей или создавать иллюстрации с нужной стилистикой.
Luma явно делает ставку на точный контроль и консистентность, что отличает её от многих генеративных AI, сосредоточенных только на скорости. Пока что эти возможности представлены на собственных тестах Luma, и их реальная применимость в сложных производственных задачах, на фоне других решений, станет ясна только со временем.