Когда большинство компаний сосредоточены на защите от внешних угроз, использующих ИИ, Microsoft указывает на другую, не менее серьезную проблему: собственные автономные ИИ-агенты внутри корпоративной сети. Эти системы, развернутые для помощи, могут стать настоящими «инсайдерами», действующими не по плану. Для контроля таких агентов компания представила подход Guardian Agents и платформу Project Perception.
ИИ-агенты, развернутые внутри компаний, часто имеют избыточные привилегии и доступ к критическим данным. Несмотря на отсутствие злого умысла, они не оптимизированы под корпоративные нормы и способны к «накрутке наград» (reward hacking), то есть могут искать обходные пути для достижения цели. Такие агенты способны сотрудничать с другими системами и действовать совершенно непредсказуемо, становясь фактически «инсайдерами», способными нанести ущерб.
Для управления этими рисками Microsoft предлагает концепцию Guardian Agents — специализированных ИИ-систем, которые круглосуточно наблюдают и модерируют каждое действие других агентов до его выполнения. Это реализуется через Project Perception, который использует кибер-стек Microsoft. Он собирает сигналы с различных сенсоров (идентичность, данные, облако, конечные точки, сеть, среда выполнения) для динамической оценки рисков и контроля действий агентов в реальном времени.
Безопасность агентов требует защиты на множестве уровней: идентичность, разрешения, данные, конечные точки, сеть, облако и среда выполнения. Project Perception обеспечивает не только надзор в реальном времени, но и трассируемость, позволяя специалистам по безопасности анализировать действия агентов, понимать причины возникновения рисков и корректировать политики, повышая прозрачность работы моделей.
Microsoft переводит фокус с внешних угроз ИИ на внутренние, предлагая конкретные инструменты для управления непредсказуемостью автономных систем. Однако в блог-посте не сообщается о датах доступности Project Perception или Guardian Agents как отдельных продуктов, а также о моделях их лицензирования или интеграции с существующими корпоративными решениями.