Alibaba Cloud показала, как запустить Qwen без интернета — для секретных данных daily

Регулируемые отрасли сталкиваются с парадоксом: им нужен генеративный ИИ для эффективности, но строгие законы о суверенитете данных запрещают использование обычных облачных моделей. Alibaba Cloud предлагает решение для этой дилеммы, показав, как развернуть свою большую языковую модель Qwen в полностью изолированной среде, которая не имеет доступа к интернету.

Типовые подходы к развёртыванию больших языковых моделей (LLM) не подходят для конфиденциальных данных из-за ряда рисков:

• Зависимость от публичных API — данные покидают защищённый периметр компании. Для финансовых или государственных учреждений это прямое нарушение контракта.
• Загрузка весов и зависимостей — большинство инструкций предполагает, что сервер может обращаться к репозиториям вроде Hugging Face для загрузки файлов моделей и библиотек. Это требует NAT Gateway, что открывает доступ в интернет.
• Атаки на цепочку поставок — сервер с доступом в интернет может случайно загрузить скомпрометированные зависимости во время сборки контейнера.
• Эксфильтрация данных — если сервер может выйти в интернет для загрузки модели, злоумышленник (или даже ошибочная модель) может использовать тот же канал для вывода чувствительных данных.

Чтобы создать «герметичную песочницу» для ИИ, Alibaba Cloud предлагает использовать следующие компоненты:

• VPC (Virtual Private Cloud) — изолированная виртуальная сеть без настроенного NAT Gateway (шлюза для выхода в интернет).
• OSS (Object Storage Service) — облачное хранилище, где лежат предварительно загруженные веса модели Qwen. Доступ к нему осуществляется только через VPC Endpoint.
• PrivateZone — внутренняя служба разрешения доменных имён Alibaba Cloud. Она гарантирует, что запросы к OSS разрешаются на внутренний IP-адрес VPC Endpoint, а не на публичный IP.
• PAI-EAS (Dedicated Resource Group) — сервис эластичных алгоритмов. Используется выделенная группа ресурсов, чтобы GPU-ресурсы были физически изолированы и привязаны только к «тёмному» VPC.

Процесс развёртывания модели Qwen без доступа в интернет включает несколько шагов:

1. Фаза подготовки (вне сети): Сотрудник службы безопасности загружает веса модели Qwen и все зависимости на бастион-хост или защищённый локальный сервер.
2. Внутренняя загрузка: Веса загружаются во внутренний OSS-бакет.
3. Разрешение конечной точки: PrivateZone настраивается так, чтобы перехватывать запросы к домену OSS и направлять их на внутренний VPC Endpoint.
4. Инициализация инференса: PAI-EAS запускает GPU-контейнер. Параметр enable_internet_access: false запрещает ему доступ во внешний мир. Контейнер использует PrivateZone для монтирования OSS-бакета и загрузки весов модели напрямую в VRAM.
5. Безопасное использование: Внутреннее приложение (например, микросервис для маршрутизации запросов клиентов) обращается к конечной точке PAI-EAS по внутреннему IP-адресу VPC.

Ключевые параметры конфигурации для развёртывания в PAI-EAS:

• "enable_internet_access": false — основной параметр, который принудительно отключает создание любых внешних сетевых интерфейсов для контейнеров.
• "vpc_id" и "vswitch_id" — явно привязывают сервис к изолированной подсети.
• HF_HUB_OFFLINE=1 — указывает библиотеке HuggingFace Transformers никогда не пытаться обращаться в публичный интернет за токенизаторами или файлами конфигурации.
• Используется только Dedicated Resource Group PAI-EAS, так как публичное Serverless-предложение не обеспечивает нужный уровень изоляции.

Отдельная проблема возникает с пайплайнами Retrieval-Augmented Generation (RAG). В стандартных сценариях RAG-агенты часто используют внешние инструменты, такие как Google Search или Wikipedia. В полностью изолированной среде эти инструменты недоступны, и LLM не сможет получить внешний контекст, что приведёт к галлюцинациям. Решение заключается в создании внутреннего, герметичного RAG-прокси:

• Внутренняя база знаний: Развёртывание высокодоступной векторной базы данных (например, Hologres или Milvus) внутри VPC.
• Пайплайн загрузки: Внутренний сервер с cron-заданием безопасно аутентифицируется с внутренними базами данных (Jira, Confluence) через внутренний сетевой пиринг.
• Внутреннее эмбеддирование: Пайплайн использует внутреннюю модель эмбеддингов (также размещённую в изолированном PAI-EAS) для векторизации документов и их хранения в векторной базе.
• Выполнение прокси: Приложение пользователя векторизует запрос, ищет в векторной базе наиболее релевантные документы, объединяет их с запросом в один большой контекстный промпт и отправляет его изолированной модели Qwen.

Alibaba Cloud показала, что строгие требования к безопасности и суверенитету данных не мешают внедрению ИИ. Однако создание такой полностью изолированной архитектуры требует глубокого понимания всех компонентов облака и их ручной настройки, что делает процесс трудоёмким для команд без соответствующего опыта.