Пока мощь ИИ-моделей растёт, Anthropic выпустила свой самый подробный отчёт о попытках использовать Claude для кибератак, операций влияния, слежки и создания оружия. Компания утверждает, что все эти инциденты были пресечены.
Anthropic опубликовала свой самый подробный на сегодняшний день отчёт о разведке угроз. В нём компания описала, как злоумышленники пытались использовать модель Claude для кибератак, операций влияния, биологических исследований, слежки и разработки оружия. Anthropic подчёркивает, что эти случаи нетипичны, но важны, так как показывают, куда движется злоупотребление ИИ.
Эти злоупотребления стали возможны, поскольку ИИ-модели уже способны выполнять задачи, которые прежде требовали высококвалифицированных экспертов. Согласно исследованию Frontier Red Team Anthropic, ИИ может помочь в тактическом целеуказании (поиске людей по фрагментам информации) и разработке обычных вооружений (например, для улучшения дронов, поражающих движущиеся цели).
Anthropic заявила, что пресекла каждую описанную операцию и использовала полученные уроки для усиления мер безопасности. В соответствующих случаях компания также делилась данными с властями и другими ИИ-компаниями, чтобы помочь всему сектору подготовиться к развивающимся угрозам.
Отчёт Anthropic ясно показывает: ИИ-модели уже стали инструментом для серьёзных атак и разработок, которые раньше были доступны лишь узкому кругу специалистов. При этом компания не раскрыла конкретных технических деталей инцидентов или их точного количества, что затрудняет оценку реального масштаба проблемы для всего сектора.