Очередной день для тех, кто работает с продуктами OpenAI, принёс не только обновления функций, но и напоминание о возрастающей сложности управления поведением ИИ. Помимо новой программы, упростилась работа с файлами Google в ChatGPT, а большие текстовые вставки теперь автоматически конвертируются во вложения, чтобы не перегружать контекстное окно.
Стоит читать если: вы занимаетесь безопасностью ИИ, разрабатываете кастомные агенты для ChatGPT Enterprise/Business или часто работаете с большими объемами текста в чате. Можно пропустить если: вам не важны вопросы безопасности моделей или вы используете ChatGPT только для коротких запросов без интеграции с Google Drive.
Программа Safety Bug Bounty: риски ИИ как цель для исследователей
OpenAI представила новую программу поиска уязвимостей Safety Bug Bounty. Её цель — выявление рисков злоупотребления ИИ и проблем безопасности, которые могут не квалифицироваться как традиционные уязвимости безопасности, но всё равно несут материальный вред. Программа дополняет уже существующую Security Bug Bounty.
Какие риски интересуют:
- Агентские риски (Agentic Risks): уязвимости, связанные с автономными агентами, включая межцелевые промпт-инъекции (MCP), инъекции промптов от третьих сторон и утечку данных. Это когда текст злоумышленника может надёжно перехватить контроль над агентом жертвы (например, Browser, ChatGPT Agent) для выполнения вредоносного действия или утечки конфиденциальной информации. Такое поведение должно быть воспроизводимо как минимум в 50% случаев. Также в фокусе — выполнение агентом OpenAI неразрешённых действий на сайте OpenAI в масштабе или любые другие потенциально вредоносные действия, если они указывают на правдоподобный и существенный вред.
- Собственная информация OpenAI: генерации модели, возвращающие проприетарную информацию, связанную с рассуждениями, или раскрывающие другую собственную информацию OpenAI.
- Целостность аккаунта и платформы: уязвимости в сигналах целостности аккаунта и платформы, такие как обход антиавтоматизационных контролей, манипулирование сигналами доверия аккаунта, уклонение от ограничений аккаунта или суспензий.
Детали программы и условия можно найти по ссылке.
Единый коннектор Google Drive для ChatGPT Business, Enterprise и Edu
OpenAI объединила файловые коннекторы Google в ChatGPT под единым брендом Google Drive. Это значит, что теперь для взаимодействия с Google Docs, Sheets и Slides используется унифицированный интерфейс вместо отдельных приложений.
Что важно знать:
- Для рабочих пространств Enterprise/Edu: новые действия Google Drive по умолчанию отключены. Администраторы или владельцы рабочих пространств могут управлять ими в настройках Workspace > Apps > Google Drive.
- Для рабочих пространств Business: новые действия Google Drive по умолчанию включены. Администраторы или владельцы также могут управлять ими в настройках Workspace > Apps > Google Drive.
- Существующие пользователи: Если вы уже использовали отдельные приложения Google Drive, Docs, Sheets или Slides, для вас ничего не меняется — ранее подключенные приложения продолжают работать. Однако для использования новых унифицированных действий нужно переподключить приложение Google Drive.
- Новые пользователи: Теперь подключаться нужно только к приложению Google Drive, чтобы использовать все действия Docs, Sheets и Slides, без необходимости подключать отдельные приложения.
- Администраторам Google Workspace: Может потребоваться повторно авторизовать соответствующие области Google, чтобы пользователи не сталкивались с ошибками подключения.
Примечания к релизу Enterprise/Edu и Примечания к релизу Business.
О подходе OpenAI к Model Spec
OpenAI выпустила статью, объясняющую свой подход к Model Spec — формальной основе для описания поведения моделей. Это публичный документ, который определяет, как модели должны следовать инструкциям, разрешать конфликты, уважать свободу пользователя и безопасно себя вести в широком спектре запросов.
Цель Model Spec: Сделать предполагаемое поведение модели явным, чтобы пользователи, разработчики, исследователи и политики могли его читать, проверять и обсуждать. Model Spec — это не утверждение о текущем идеальном поведении моделей, а скорее ориентир, к которому OpenAI стремится в обучении и оценке своих систем. Он дополняет Preparedness Framework, который фокусируется на рисках от передовых возможностей ИИ.
Крупные вставки текста в ChatGPT теперь обрабатываются как вложения
Для пользователей ChatGPT Plus, Pro и Business, вставки текста размером более 5000 символов теперь автоматически конвертируются во вложения.
Зачем это нужно: Цель изменения — сохранить поле ввода ChatGPT Composer чистым и предотвратить перегрузку всего контекстного окна большими вставками, что может негативно сказаться на производительности и стоимости. Пользователи сохраняют контроль и могут переместить содержимое обратно в сообщение, нажав на опцию «Показать в текстовом поле».
Также за день
- Проблема с файлами: Была решена проблема, из-за которой пользователи не могли скачать или просмотреть файлы проекта. Инцидент.
Что это значит
Смещение фокуса OpenAI на риски, специфичные для ИИ, через программу Safety Bug Bounty указывает на зрелость индустрии. Инженерам стоит обратить внимание на критерии новой программы — теперь важны не только классические уязвимости, но и тонкие аспекты поведения агентов и моделей. Это требует переосмысления подходов к тестированию и валидации систем, использующих ИИ, особенно для тех, кто строит на их основе сложные автономные решения.