Потенциал ИИ для злонамеренных целей — не просто гипотеза. OpenAI пресекла крупную мошенническую операцию, базировавшуюся в Камбодже, которая активно использовала ChatGPT для обмана пользователей.
Операция применяла ChatGPT для поддержки нескольких видов мошенничества. Целями были инвестиционные схемы, романтические аферы, незаконные азартные игры и имитация личности.
Этот случай не единичен. Google Threat Intelligence также сообщает о реальных случаях злоупотребления своими ИИ-моделями, например Gemini. Анализ Google показывает, что дискуссии о вредоносном использовании ИИ часто остаются теоретическими, но злоумышленники уже активно применяют его на практике. Google подчёркивает важность совместной работы частного сектора, правительств и образовательных учреждений для минимизации рисков злоупотреблений.
Прессечение подобных операций показывает, что вендоры ИИ активно борются с реальным злоупотреблением своих продуктов. Это напрямую влияет на безопасность платформ и условия использования API, а также формирует новые требования к контролю за ИИ-системами.