Стоит читать если: работаете с Retrieval Augmented Generation (RAG), системами поиска или нужно повысить точность ранжирования документов при сохранении скорости. Можно пропустить если: не используете механизмы извлечения информации или вас устраивает текущая точность поиска.
Семейство Ettin Reranker: точность и скорость в связке
Для чего нужен реранкер. Модель-реранкер (или CrossEncoder) принимает пару «запрос-документ» и выдаёт единый показатель релевантности. В отличие от эмбеддинг-моделей, которые кодируют запрос и документ отдельно, реранкер позволяет текстам взаимодействовать на каждом слое трансформера. Это совместное кодирование точнее, но и дороже: модель должна быть запущена один раз для каждой пары, а не один раз для каждого текста.
Паттерн retrieve-then-rerank. Поскольку кросс-энкодеры слишком дороги для прогона по всему корпусу, распространённый производственный паттерн — этоretrieve-then-rerank: быстрая эмбеддинг-модель извлекает топ-K кандидатов (дёшево), затем кросс-энкодер переупорядочивает только эти K с высокой точностью. Общая стоимость остаётся ограниченной, в то время как итоговый рейтинг гораздо ближе к тому, что дал бы исчерпывающий проход кросс-энкодера.
Шесть новых моделей. Выпущено семейство из шести новых реранкеров Sentence Transformers CrossEncoder:
cross-encoder/ettin-reranker-17m-v1cross-encoder/ettin-reranker-32m-v1cross-encoder/ettin-reranker-68m-v1cross-encoder/ettin-reranker-150m-v1cross-encoder/ettin-reranker-400m-v1cross-encoder/ettin-reranker-1b-v1
Архитектура и обучение. Все модели основаны на ModernBERT-кодерах Ettin и обучены с использованием рецепта дистилляции: поточечная среднеквадратичная ошибка (MSE) на оценках от mixedbread-ai/mxbai-rerank-large-v2 на наборе данных cross-encoder/ettin-reranker-v1-data. Все шесть реранкеров поддерживают до 8K токенов контекста благодаря ModernBERT.
Оптимизация пропускной способности. Для максимальной пропускной способности рекомендуется установка kernels и использование model_kwargs={"dtype": "bfloat16", "attn_implementation": "flash_attention_2"}. Это может дать прирост скорости от 1.7x до 8.3x в зависимости от размера модели и длины последовательности.
Результаты бенчмарков. Модели Ettin Reranker были протестированы на бенчмарке MTEB(eng, v2) Retrieval. Результаты показали, что Ettin Reranker 1b-v1 (1.00B параметров) достигает NDCG@10 в 0.6114, что очень близко к показателям обучающей модели mixedbread-ai/mxbai-rerank-large-v2 (1.54B параметров, NDCG@10 0.6115). Меньшие модели семейства Ettin также показали сильные результаты для своих размеров, например, Ettin Reranker 68m-v1 (68.6M параметров) достигла 0.5915. Это подтверждает, что модели Ettin Reranker являются передовыми для своих размеров.
OlmoEarth v1.1: Эффективность для наблюдения Земли
Сокращение вычислительных затрат. AllenAI выпустила OlmoEarth v1.1, новое семейство моделей наблюдения Земли, которое сокращает вычислительные затраты до 3 раз при сохранении производительности OlmoEarth v1. Это достигается за счёт уменьшения длины последовательности токенов, что критически важно, поскольку вычислительные затраты масштабируются квадратично с длиной последовательности.
Механизм оптимизации. Модели OlmoEarth обрабатывают данные дистанционного зондирования, преобразуя их в последовательность токенов. В новой версии оптимизация произошла за счёт объединения токенов разрешения в один, что привело к трёхкратному сокращению количества токенов. Хотя наивное объединение токенов может привести к снижению производительности, модификации в режиме предварительного обучения OlmoEarth v1.1 позволили избежать этого.
Для исследователей. Модели OlmoEarth v1.1 обучаются на том же наборе данных, что и OlmoEarth v1. Это позволяет изолировать влияние методологических изменений, помогая глубже понять научные принципы при предварительном обучении моделей для дистанционного зондирования.
Также за день
- Ежедневные научные работы HuggingFace — обзор 14 популярных исследовательских работ от 19 мая 2026 года, включая темы по большим языковым моделям, агентным системам и инфраструктуре для генерации видео.
Что это значит
Специализация как путь к масштабированию. Новые релизы HuggingFace показывают движение к специализированным, но более эффективным моделям. Ettin Reranker предоставляет инженерам инструменты для точного ранжирования, не жертвуя скоростью, а OlmoEarth v1.1 демонстрирует, как можно снизить операционные расходы для задач наблюдения Земли, сохраняя качество. Это подчёркивает тренд на разработку моделей, которые не только точны, но и экономически выгодны в реальных продакшен-средах.