Чем сложнее становится ИИ, тем труднее находить в нём уязвимости. Ручной поиск не масштабируется, а автоматические тесты быстро устаревают. Поэтому OpenAI обучила свою же модель, GPT-Red, чтобы она сама искала слабые места в других ИИ-системах.
Традиционный red-teaming (поиск уязвимостей командой специалистов) стал узким местом. Он требует много времени, а его результаты не дают достаточного объёма данных для тренировки моделей. Особенно это критично для атак типа prompt injection (внедрение скрытых команд), когда вредоносные инструкции прячутся в сторонних данных, таких как письма или веб-страницы, и заставляют модель выполнять нежелательные действия. Существующие методы оценки надёжности уже не справляются с последними моделями.
GPT-Red — это автоматизированная система red-teaming, созданная OpenAI для масштабирования процесса поиска уязвимостей. Она работает как человек-тестер: отправляет промпт, наблюдает за реакцией целевой модели и итерирует, чтобы найти слабое место. Главная идея — самосовершенствование для безопасности: использование текущих моделей для обучения будущих систем быть безопаснее. OpenAI вложила в обучение GPT-Red вычислительные ресурсы, сопоставимые с крупнейшими запусками пост-тренировки.
Система GPT-Red уже активно используется для адверсариального обучения (тренировки на специально созданных враждебных примерах) производственных моделей OpenAI. В частности, последняя модель GPT-5.6 Sol показала в 6 раз меньше сбоев при атаках-инъекциях на самых сложных внутренних бенчмарках по сравнению с предыдущей версией, выпущенной всего четыре месяца назад. Это делает её самой надёжной моделью OpenAI на сегодняшний день в вопросах устойчивости к скрытым командам.
Проблема устойчивости к скрытым командам остаётся острой для всей отрасли. Недавнее исследование показало, что все тестируемые модели-агенты уязвимы к таким атакам, с процентом успешных инъекций от 0.5% до 8.5% (Claude Opus 4.5 до Gemini 2.5 Pro). OpenAI планирует продолжать масштабировать подход GPT-Red, дополняя его работой человеческих команд, сторонним red-teaming, многоуровневыми защитами и мониторингом в реальном времени.
Разработка GPT-Red показывает, что для обеспечения безопасности самых ИИ-моделей необходимы автоматизированные и масштабируемые решения. Это не просто инструмент, а фундаментальный шаг к самозащищающемуся ИИ, где сами системы активно учатся обнаруживать и нейтрализовать угрозы. Однако, как и любой внутренний инструмент, GPT-Red требует регулярного сопоставления с внешними, независимыми проверками, чтобы его эффективность не оставалась лишь на словах вендора.