В мире, где каждый токен на счету, Cohere выпустила Rerank 5 — свой инструмент для оптимизации поиска, который обещает не только повысить точность, но и сократить расходы на обработку контекста для больших языковых моделей.
Главное новшество Rerank 5 — функция Context Focus, которая позволяет разработчикам более точно контролировать объем контекста, передаваемого нижестоящим LLM. Это помогает избежать перегрузки моделей и снизить затраты на токены, фильтруя не только документы, но и отдельные фрагменты внутри них. Разработчики могут задать порог для включения или исключения контента.
Rerank 5 обеспечивает улучшенную точность и эффективность ранжирования, что критически важно для систем поиска, корпоративного контента и многоязычных приложений. Модель также предлагает калиброванные оценки релевантности, позволяющие устанавливать единый порог для всех запросов и доменов.
Модель доступна в двух версиях — Pro и Fast — и развернута на платформах Cohere Model Vault, Microsoft Foundry и Amazon SageMaker, что обеспечивает широкие возможности для интеграции в существующие инфраструктуры.
Rerank 5 с Context Focus представляет собой шаг к более управляемым и экономичным RAG-системам, позволяя инженерам балансировать между глубиной контекста и стоимостью. Однако Cohere не предоставила конкретных бенчмарков, демонстрирующих количественное улучшение точности и эффективности по сравнению с предыдущими версиями, а также не раскрыла подробности о том, как именно Context Focus влияет на качество результатов при агрессивном сокращении контекста.