Стриминговая генерация видео открывает новые возможности, но несёт и новые риски: как проверять контент, который создаётся на лету? Runway представила систему, которая сканирует видеопоток в реальном времени и блокирует вредоносный контент менее чем за полсекунды.
Традиционные методы модерации, при которых проверка происходит после полной генерации, не подходят для потокового видео. При таком подходе пользователь увидел бы контент до того, как его полностью проверили. Runway пришлось переосмыслить систему: теперь она проверяет входные данные быстрее и сканирует сам видеопоток с очень низкой задержкой.
Новая синхронная система модерации Runway начинает работать сразу после первичной проверки ввода. Кадры генерируемого видео отправляются на модерацию в реальном времени. Если обнаруживается проблемный контент, поток немедленно останавливается. Для этого используется модель CoPE-B от Zentropi, которая обеспечивает задержку классификации менее 0.5 секунды. CoPE-B построена на архитектуре Mixture-of-Experts (MoE) с 25.2 млрд параметров, но активирует лишь 3.8 млрд за один проход. Это позволяет ей работать со скоростью небольшой модели (около 4 млрд параметров), сохраняя знания более крупной.
Эта система модерации — новый слой в многоуровневой защите Runway, которая уже включает фильтрацию данных, редтиминг и проверку на CSAM (материалы о сексуальном насилии над детьми). Модерация в реальном времени решает ключевую проблему безопасности для будущих моделей, генерирующих видео в потоковом режиме, что является долгосрочной целью Runway.