Большинство моделей генерируют видео фиксированной длины по заданному промпту. Runway выпустила GWM Worlds 2, которая позволяет создавать и управлять целыми интерактивными мирами в реальном времени, используя текстовые команды. Эта модель генерирует непрерывное видео 720p со скоростью 24 кадра в секунду и аудио 48000 Гц, мгновенно реагируя на действия пользователя.
Пользователь сам определяет среду, действующих персонажей, визуальный стиль, физические правила и общую атмосферу мира. После запуска можно управлять сценой или любым персонажем с помощью текстовых команд, описывающих движения, жесты, диалоги или даже изменения погоды. Поскольку мир генерируется непрерывно, откликаясь на новый ввод, а не по фиксированному сценарию, продолжительность сессий не ограничена. Это закладывает основу для интерактивных развлечений, виртуальных персонажей, робототехники и симуляций агентов.
Ключевые возможности GWM Worlds 2 включают:
- Навигация — поддерживает управление от первого и третьего лица, включая ходьбу, вождение, полёты и осмотр мира. Камера и персонаж могут управляться независимо.
- Действия — персонажи и сцена могут выполнять произвольные действия: движения (бег, лазание), взаимодействия с объектами (стрельба, включение света) и события в сцене (затопление комнаты).
- Диалоги — персонажи могут вести беседы, с контролем голоса, тона и языка; модель генерирует соответствующую мимику и речь.
В основе GWM Worlds 2 лежит формат WorldPrompt, который разделяет состояние мира на две части: постоянный контекст и потоковые события. Постоянный контекст включает исходный промпт с описанием среды, её элементов, материалов, освещения и амбиентного звука, а также описание персонажей с их атрибутами и законов, управляющих поведением (гравитация, коллизии, способности персонажей, перспектива камеры). К этому добавляется первый кадр для визуальной привязки. Потоковые события — это текстовые действия с таймстемпами, описывающие движение, жесты, взаимодействие с объектами, речь и звук, адресованные персонажу или сцене, а также ввод камеры.
Runway выделяет три сценария использования модели:
- Заранее — пользователь (возможно, с помощью LLM) заранее составляет потоковые события, и модель генерирует полное видео и аудио. Подходит для кинопроизводства.
- Пошагово — генерация идёт до момента, когда пользователь должен принять решение. После выбора действия (которое LLM может преобразовать в формат потоковых событий) модель продолжает генерацию. Применимо в визуальных новеллах.
- В реальном времени — модель непрерывно генерирует видео и аудио, а пользователь может принимать действия, которые немедленно влияют на поток генерации. Это наиболее сложный сценарий, требующий минимальной задержки, и он подходит для игр и интерактивных опытов.
В демонстрации для реального времени используются привязки клавиш и мыши к заранее подготовленным промптам. Модель также поддерживает многопользовательские сессии, где разные пользователи могут управлять различными персонажами или даже самой сценой. Создание миров упрощено с помощью LLM-ассистента: достаточно описать мир текстом, и ассистент генерирует первый кадр, исходный промпт и набор действий, привязанных к клавишам.
GWM Worlds 2 — это пока исследовательский превью, и генерация в реальном времени требует компромиссов в качестве ради скорости. Детали, текстуры и геометрия могут дрифтовать со временем, особенно при быстром движении камеры. Долгосрочная согласованность также несовершенна, и модель не поддерживает референсы изображений, кроме первого кадра. Для полноценного использования свободного текстового управления в реальном времени может потребоваться внешняя система, отслеживающая состояние мира и генерирующая действия на лету, например, для диалогов NPC.
GWM Worlds 2 представляет амбициозный шаг к интерактивным мирам, управляемым AI. Хотя текущая версия — это исследовательский превью с компромиссами в качестве ради скорости, она ясно показывает направление: от фиксированных клипов к динамическим, живым симуляциям. Однако для полноценных игр и сложных сценариев предстоит решить проблемы с долгосрочной согласованностью и детализацией.