Стоит читать если: вы работаете с задачами ранжирования в поиске или рекомендательных системах, где важен баланс между качеством и скоростью. Можно пропустить если: ваши текущие системы ранжирования не требуют обновления или более низкой задержки.
Также за день
Cohere выпустила rerank-v4-0 — свою новейшую базовую модель для ранжирования. Она доступна в двух вариантах: rerank-v4.0-pro для высокого качества и rerank-v4.0-fast для низкой задержки. Модель поддерживает многоязычное переранжирование, работу с полуструктурированными JSON-данными и имеет расширенное окно контекста в 32k токенов. Release notes.
Что это значит
Наличие специализированных моделей для качества и для задержки дает инженерам более точный контроль над распределением ресурсов и пользовательским опытом. Это подчеркивает тенденцию к тому, что поставщики моделей предлагают тонко настроенные варианты для конкретных производственных нужд, а не одну универсальную модель.