Красная команда, тестирующая безопасность ИИ, обычно состоит из людей. Но OpenAI поручила эту работу другому ИИ, представив GPT-Red — внутреннюю автоматизированную систему, которая находит уязвимости к инъекциям промптов в моделях эффективнее человеческих команд.
GPT-Red — это внутренняя система «красной команды», разработанная для обнаружения уязвимостей к инъекциям промптов (вредоносным инструкциям) в больших языковых моделях до их широкого развёртывания. Она работает автономно, атакуя модели в масштабе, что превышает возможности человеческих команд.
Система обучена с помощью самообучения с подкреплением: GPT-Red выступает в роли атакующего против модели-защитника в различных сценариях. За успешные взломы атакующий получает награду, а защитник — за сопротивление и выполнение задач. По мере улучшения защиты атакующий вынужден придумывать более сложные атаки, создавая непрерывный цикл улучшения.
Эффективность GPT-Red превосходит человеческие тесты:
- Система успешно находит уязвимости в 84% сценариев против 13% у людей.
- Прямые инъекции промптов сократились в шесть раз в лучшей производственной модели OpenAI по сравнению с показателями четырёхмесячной давности.
- Класс атак «поддельная цепочка рассуждений» (fake chain-of-thought), который работал более чем в 95% случаев против GPT-5.1, теперь эффективен менее чем в 10% против GPT-5.6.
Система уже доказала свою способность взламывать автономных агентов. В ходе тестирования GPT-Red успешно перехватила управление агентом торгового автомата Vendy, меняя цены и отменяя заказы. Она также скомпрометировала агентов, работающих с командной строкой.
GPT-Red позволяет OpenAI повысить безопасность своих моделей, особенно критически важно для автономных агентов, которые могут выполнять действия в реальном мире. Это демонстрирует, что для защиты ИИ от сложных атак требуется не только человеческий интеллект, но и другой, более масштабируемый ИИ.