Знания в ИИ-моделях часто бывают обоюдоострыми: они могут как помогать в медицине или кибербезопасности, так и использоваться для вреда. До сих пор полный контроль над такими «двойными» знаниями требовал либо грубой фильтрации данных, либо дорогостоящего обучения множества специализированных версий моделей. Anthropic совместно с AE Studio предложила новый подход — методологию GRAM (Gradient-Routed Auxiliary Modules), которая позволяет тонко управлять доступом к опасным возможностям, не снижая общую производительность ИИ.
Существующие методы защиты, такие как обучение отказам или классификаторы, несовершенны. Они лишь блокируют опасные выводы, не меняя базовых знаний модели, что позволяет злоумышленникам обходить их. Фильтрация данных на этапе предобучения эффективна, но она даёт одну модель с фиксированным набором возможностей. Если нужна модель, которая может обсуждать вирусологию для биолаборатории, и другая, которая не может, приходится обучать две дорогие модели.
Метод GRAM добавляет в каждый слой трансформера (архитектура нейросети) дополнительные нейроны, разделённые на модули — по одному на каждую категорию «двойных» знаний. Когда модель обучается на данных, связанных, например, с вирусологией, общие веса временно замораживаются, и учится только модуль вирусологии. Это позволяет знаниям накапливаться в выделенном модуле, а не рассеиваться по всей сети.
После обучения такой модуль можно просто удалить, и соответствующая возможность исчезнет. Либо его можно оставить для доверенных пользователей, которым эти знания необходимы. Таким образом, из одного прогона обучения GRAM можно получить модель, которую можно настроить множеством способов — в экспериментах Anthropic это до 16 различных конфигураций для четырёх категорий знаний.
Исследователи протестировали GRAM в трёх сценариях:
- На синтетическом наборе данных небольшая модель GRAM могла «забывать» выбранные темы, при этом её производительность была почти идентична отдельным моделям, обученным с нуля на отфильтрованных данных.
- На реалистичном наборе данных (веб-текст, код, научные статьи) с четырьмя «двойными» доменами (вирусология, кибербезопасность, ядерная физика и нишевый язык программирования) удаление модуля эффективно убирало соответствующую возможность, не ухудшая общую производительность. Метод также хорошо сопротивлялся попыткам злоумышленников восстановить удалённые знания.
- При масштабировании до пяти миллиардов параметров GRAM соответствовал производительности фильтрации данных, а разрыв между режимами «модуль включён» и «модуль выключен» увеличивался с ростом размера модели, делая обход защиты более сложным и дорогим.
GRAM предлагает элегантное решение для сложной проблемы баланса между мощностью и безопасностью ИИ, обходя ограничения предыдущих методов. Однако это пока лишь раннее исследование, не применённое к боевым моделям Claude, и его реальная эффективность на практике ещё требует подтверждения.