Обработка больших объемов текста с помощью ИИ-моделей обычно требует графических процессоров. LiquidAI меняет это правило. Компания выпустила две новые модели энкодеров, LFM2.5-Encoder-230M и LFM2.5-Encoder-350M, которые способны работать с контекстом до 8192 токенов, показывая высокую скорость даже на обычных CPU.
Модели LFM2.5-Encoders, доступные на Hugging Face, предлагают высокую производительность и экономичность для задач обработки естественного языка (NLP). Их ключевые преимущества:
- Контекст — до 8192 токенов с медленным ростом задержки.
- Скорость на CPU — до 3,7 раз быстрее ModernBERT-base при длинном контексте.
- Качество — соответствуют или превосходят более крупные энкодеры в тестах GLUE, SuperGLUE и мультиязычных задачах.
- Экономичность — позволяют запускать задачи документного масштаба на уже имеющемся оборудовании. Эти модели подходят для создания маршрутизаторов намерений, анализаторов политик, детекторов конфиденциальных данных (PII) и классификаторов текста, которые могут работать непрерывно и с низкими затратами.
Энкодеры основаны на архитектуре LFM2 и инициализированы из бэкбонов декодеров LFM2.5. Для превращения каузального декодера в двунаправленный энкодер были внесены следующие изменения:
- Двунаправленная маска внимания — каждый токен видит токены с обеих сторон.
- Некаузальные короткие свёртки — симметричное дополнение для смешивания соседних токенов.
- Моделирование маскированного языка — маскировка 30% токенов при обучении. Обучение проходило в два этапа. Сначала формировалась общая языковая компетенция на большом веб-корпусе с контекстом 1024 токена. Затем следовала адаптация к длинному контексту с расширением до 8192 токенов на полном наборе данных, с усилением фактической, юридической и мультиязычной компетенции.
В бенчмарках LFM2.5-Encoder-350M занял четвертое место среди 14 моделей, уступив только более крупным конкурентам, включая модель в десять раз большего размера (3.5B). Младшая модель, LFM2.5-Encoder-230M, превзошла ModernBERT-base и все модели EuroBERT, будучи при этом компактнее. На CPU энкодеры LiquidAI показали наибольшее преимущество. LFM2.5-Encoder-230M лидирует по скорости при любой длине последовательности, обгоняя даже меньший ModernBERT-base на коротких входах. По мере увеличения длины ввода пропускная способность снижается медленнее, чем у конкурентов.
Модели LFM2.5-Encoders от LiquidAI демонстрируют, что NLP-модели с длинным контекстом могут быть эффективными и без дорогостоящих GPU. Это открывает новые возможности для массового внедрения ИИ-агентов на устройствах, от браузеров до мобильных телефонов, без зависимости от облака. Однако, хотя заявленные скорости впечатляют, реальная производительность на разнообразном оборудовании и в условиях реальной нагрузки ещё предстоит оценить независимым разработчикам.