Обычно, чтобы использовать большую языковую модель (LLM), нужно отправлять свои данные в облако провайдера. Cohere предлагает другой путь: компания развертывает свои модели прямо на инфраструктуре клиента, чтобы конфиденциальная информация никогда не покидала его периметр.
Cohere активно продвигает модель развертывания, при которой их большие языковые модели (LLM) устанавливаются непосредственно у клиентов. Это означает, что все обрабатываемые данные остаются в периметре заказчика и не передаются в облако Cohere.
По словам Ника Фроста из Cohere, такой подход усложняет работу самой компании, но повышает безопасность бизнеса клиента. Это предотвращает потенциальные утечки и несанкционированное использование конфиденциальных данных для обучения моделей.
Документация Cohere подтверждает наличие приватных развертываний (Private Deployments) как одного из четырёх основных вариантов доступа к моделям. Помимо стандартной платформы Cohere и облачных сервисов (AWS, Azure AI Foundry, Amazon SageMaker, OCI Generative AI Service), клиенты могут установить модели в своей виртуальной частной сети (VPC) или даже на собственных серверах (on-premises). В этом случае инфраструктурой управляет клиент, получая от Cohere инструкции и поддержку.
В то время как конкуренты, например Azure OpenAI, также предлагают решения для безопасного корпоративного развёртывания — через Private Link, сетевую изоляцию и управляемые удостоверения — они в основном фокусируются на защите данных внутри их облачной инфраструктуры. Подход Cohere акцентирует на переносе самой модели в среду клиента, что может быть критично для компаний с самыми жёсткими требованиями к суверенитету данных и полному контролю над ними.
Подход Cohere явно ориентирован на enterprise-сегмент, где конфиденциальность и соответствие требованиям критичны. Однако компания не приводит данных, насколько такое развертывание сложнее или дороже для клиента по сравнению с использованием облачного API.