Обычно ИИ-агенты выполняют команды через API или генерируют текст. Теперь Google дает Gemini 3.5 Flash возможность напрямую взаимодействовать с интерфейсами любых устройств: от браузеров до мобильных и десктопных приложений.
Инструмент Computer Use позволяет моделям Gemini «видеть» экран через скриншоты и «действовать» в любых пользовательских интерфейсах: от браузеров до мобильных и десктопных приложений. Он генерирует клики мыши и ввод с клавиатуры, что открывает путь к созданию агентов, способных автоматизировать рутинные задачи, такие как заполнение форм, тестирование веб-приложений или сбор информации с сайтов.
В новой версии Computer Use для Gemini 3.5 Flash появились упрощенные «интенты» (описания намерений) для каждого действия. Это помогает разработчикам понимать логику модели. Также реализована настраиваемая политика безопасности и улучшено обнаружение инъекций промптов — это важно для контроля над автономными агентами.
Инструмент Computer Use теперь доступен в общедоступной предварительной версии через Gemini API. Google рекомендует использовать для него модель Gemini 3.5 Flash. Для быстрого старта компания также предоставила официальный репозиторий на GitHub с эталонной реализацией и руководством.
Computer Use делает Gemini 3.5 Flash универсальным оператором, способным автоматизировать задачи на любом устройстве. Однако Google не уточнил, насколько сложными могут быть цепочки действий, которые модель способна выполнять без вмешательства человека, и как эффективно она справляется с динамически меняющимися интерфейсами.