До сих пор ИИ-помощники работали в основном с текстом и кодом. Теперь GitHub Copilot научился взаимодействовать напрямую с десктопными приложениями, читая контент, кликая, вводя текст и перемещаясь по рабочим процессам на macOS и Windows. Это открывает новые возможности для инженеров, работающих с устаревшим ПО.
Новая функция "computer use" позволяет Copilot выполнять действия от имени пользователя в любых программах, даже тех, у которых нет API, командной строки или интеграции с MCP. Это включает чтение содержимого экрана, ввод текста, клики, прокрутку, перетаскивание элементов и навигацию по рабочим процессам.
Инструмент нацелен на автоматизацию рутинных задач в устаревшем или только GUI-программном обеспечении, где традиционные методы автоматизации (через API) недоступны. Перед каждым действием Copilot запрашивает одобрение пользователя. На macOS функция требует разрешений Accessibility и Screen Recording.
Для активации функции достаточно ввести /computer on в Copilot CLI или приложении GitHub Copilot. Microsoft рекомендует четко описывать желаемый результат, задействованные приложения и любые ограничения для эффективной работы ИИ.
Расширяя свои возможности за пределы кодирования, GitHub Copilot становится инструментом для роботизированной автоматизации процессов (RPA), привнося агентский подход в работу с десктопными приложениями. Однако Microsoft не уточнила, как эта новая функция соотносится с их существующим продуктом Power Automate Desktop, и каковы будут ограничения по сложности автоматизируемых сценариев.