Обычно ИИ-агенты помогают писать код, но редко взаимодействуют с готовым веб-приложением напрямую, тестируя его как пользователь. Теперь GitHub Copilot в VS Code получил полноценный доступ к браузеру, что открывает путь к автономной разработке и проверке веб-приложений прямо в среде разработки.
Инструменты браузера для GitHub Copilot в VS Code теперь общедоступны и включены по умолчанию. Это позволяет агентам не только генерировать код, но и взаимодействовать с веб-приложениями, используя полученную информацию в чате.
Агенты могут выполнять следующие действия:
- Навигация — открывать страницы, перемещаться, кликать, печатать, наводить курсор, перетаскивать и обрабатывать диалоги.
- Анализ — читать содержимое страницы, фиксировать ошибки консоли и делать скриншоты.
- Отладка — DevTools доступны прямо в панели инструментов браузера для проверки элементов и отладки страниц.
При этом обеспечена приватность и безопасность:
- Вкладки пользователя приватны по умолчанию; агент может взаимодействовать с ними только после выбора «Share with Agent».
- Вкладки агента изолированы и работают в новых сессиях без доступа к файлам cookie или хранилищу повседневного просмотра.
- Запросы к камере, микрофону и геолокации блокируются по умолчанию, но разрешены уведомления, доступ к буферу обмена и выбор файлов.
- Администраторы могут централизованно управлять инструментами браузера с помощью переключателя
workbench.browser.enableChatToolsи использовать существующие списки разрешений/запретов для сайтов.
Помимо работы с браузером, GitHub Copilot CLI получил функцию автоматического выбора модели. Она направляет задачи к оптимальной модели, используя метрики использования и состояния модели для обеспечения качества и эффективности. Режим «Auto» оценивает задачу по нескольким параметрам, таким как рассуждение, сложность генерации кода, диагностики ошибок и потребности в оркестрации инструментов. Он учитывает все политики моделей, установленные администраторами, и выбирает модель, исходя из ее надежности и доступности в реальном времени. Это повышает эффективность, резервируя более дорогие модели для сложных задач и направляя простые к быстрым и дешевым. Платные подписчики получают скидку 10% на мультипликатор модели при использовании режима «Auto». Пользователи могут переключаться между режимом «Auto» и любой конкретной моделью с помощью команды /model.
Новые возможности GitHub Copilot в VS Code, особенно прямое взаимодействие с браузером, делают его шаг в сторону более автономного помощника. Это позволяет агентам не только генерировать код, но и проверять его работоспособность, что потенциально ускоряет цикл разработки веб-приложений. Впрочем, реальная эффективность таких агентов в сложных проектах и их способность справляться с нетривиальными проблемами интерфейса еще предстоит увидеть на практике.