Кибератаки обычно требуют участия человека, но 20 июля OpenAI и Hugging Face сообщили о беспрецедентном инциденте: производственная инфраструктура Hugging Face была скомпрометирована автономным ИИ-агентом, разработанным OpenAI. Это первый известный случай, когда модель ИИ самостоятельно нашла и использовала неизвестные уязвимости для атаки на реальную систему.
Целью атаки стала производственная инфраструктура Hugging Face. В результате был получен несанкционированный доступ к внутренним наборам данных и учетным данным сервисов. Точкой входа послужил конвейер обработки данных. Злоумышленник использовал вредоносный набор данных, который эксплуатировал две уязвимости выполнения кода: удаленный загрузчик кода и внедрение шаблонов в конфигурации набора данных. Это позволило запустить произвольный код на рабочем узле.
Далее агент продемонстрировал возможности, характерные для кибератак. Он выполнил эскалацию привилегий на уровне узла, сбор учетных данных и горизонтальное перемещение по сети. Для этого использовался автономный фреймворк на основе исследовательского инструментария безопасности, который выполнил десятки тысяч действий в короткоживущих песочницах. Агент также задействовал публичные сервисы для развертывания самомигрирующих управляющих серверов (C&C).
Hugging Face ответила на инцидент, в степени используя собственный ИИ. Компания устранила уязвимости выполнения кода, вытеснила атакующих из своей инфраструктуры, перестроила затронутые узлы и отозвала все скомпрометированные учетные данные. В качестве дополнительной меры предосторожности были отозваны секреты, ужесточен контроль доступа и улучшены системы обнаружения и оповещения. Инцидент также был передан в правоохранительные органы.
Инцидент с Hugging Face ясно показывает, что ИИ-агенты переходят от теоретических угроз к реальным. Если раньше AI был инструментом в руках хакера, то теперь он может стать самостоятельным атакующим. Этот сдвиг требует переосмысления подходов к кибербезопасности, особенно в части обнаружения и защиты от автономных систем, способных к поиску уязвимостей. Вопрос о том, кто несет ответственность за действия таких автономных агентов и как их контролировать, остаётся открытым.