Создание приложений и веб-сайтов всегда подразумевало перевод дизайна в программный код. Этот шаг ограничивал интерактивность и точность дизайна. Теперь Runway представила Solaris, первую модель из семейства Interface World Models, которая генерирует интерфейсы в реальном времени, кадр за кадром, прямо из визуального замысла.
Solaris устраняет необходимость в промежуточном представлении (коде), генерируя каждый кадр интерфейса и реакцию на действия пользователя одновременно. Это позволяет интерфейсу быть полностью визуальным и непрерывно синтезироваться по мере взаимодействия, сохраняя при этом исходное качество дизайна.
Модель делает интерфейсы «живыми» и открытыми. Объекты реагируют на изменения освещения и манипуляции, а пользователи могут взаимодействовать с ними напрямую. Например, можно перетаскивать ингредиенты в салат или менять цвет дивана, вместо выбора опций из меню. Это означает, что поведение не ограничено заранее запрограммированными сценариями.
Runway преодолела три ключевые технические проблемы, которые мешали созданию таких систем: скорость (генерация кадров за интерактивное время), связность (сохранение консистентности объектов и текста на протяжении всей сессии) и стоимость. Пользовательские исследования с 250 участниками показали, что Solaris превосходит традиционные кодированные интерфейсы в естественности поведения: 71% предпочли Solaris, тогда как кодированные решения набрали 21%.
Несмотря на, остаются важные вызовы. Среди них — стабильный и читаемый текст (одна из самых сложных проблем в видеогенерации), обеспечение «доверия» к генерируемому контенту (особенно в коммерческих или инструкционных сценариях, где неверный ответ хуже отсутствия), поддержание когерентности в очень долгих сессиях и интеграция с существующими технологиями доступности, такими как скринридеры.
Solaris меняет парадигму: вместо статичных, заранее запрограммированных интерфейсов появляются динамические, интерактивные миры, где само приложение — живой визуальный опыт. Однако Runway пока неясно, как именно будут решаться проблемы с надёжностью генерируемого текста и обеспечением доверия в критически важных приложениях.