RAG-системы постоянно сталкиваются с разнообразными и сложными корпоративными данными: от сканированных PDF-файлов до финансовых отчётов. Cohere представила Embed 5 Pro и Embed 5 Fast — новые модели встраивания, которые призваны эффективно обрабатывать такие данные, предлагая инженерам комплексное решение для извлечения информации.
Ключевое новшество — поддержка мультимодальных входов. Модели преобразуют текст, изображения и смешанные документы (например, страницы PDF) в единый вектор. Это упрощает работу с визуально насыщенными документами, финансовыми отчётами и кодом, где ранее требовались отдельные подходы для каждого типа данных. Улучшения качества поиска отмечены для:
- Визуально насыщенных документов
- Финансовых отчётов
- Разобранных PDF-файлов
- Кода
- Многоязычного поиска
Модели обеспечивают длину контекста в 128k токенов и поддерживают более 100 языков, что критично для глубокого анализа больших многоязычных документов. Это превосходит возможности конкурентов, например, OpenAI Embeddings v3, у которых контекст ограничен 8191 токеном.
Cohere предлагает две версии: Embed 5 Pro для максимального качества (идеальна для офлайн-индексации и критичных задач) и Embed 5 Fast для низкой задержки и высокой пропускной способности (для интерактивного поиска и циклов агентов). Обе модели используют общее пространство встраиваний, позволяя индексировать данные с Pro и запрашивать с Fast, оптимизируя баланс между точностью и скоростью.
В моделях внедрена технология Matryoshka-встраиваний. Она позволяет гибко выбирать размерность векторов (от 256 до 2048) и типы вывода (float, int8, binary), что даёт инженерам контроль над размером хранилища и производительностью. Embed 5 доступен через Embed API, а также через Microsoft Foundry и Amazon SageMaker, а для однопользовательского развертывания — в Model Vault.
Cohere Embed 5 явно нацелен на лидерство в корпоративном RAG, предлагая комплексное решение для самых сложных задач с данными. Однако конкретные сравнительные бенчмарки производительности Embed 5 Pro/Fast против OpenAI Embeddings v3 на различных типах данных и языках не были предоставлены, поэтому инженерам придётся проводить собственное тестирование.