Скорость или качество — этот компромисс обычно преследует разработчиков больших языковых моделей (LLM). Cohere анонсировала метод дискретной диффузии, который обещает решить эту дилемму, ускоряя LLM без потери точности.
Компания представит подход дискретной диффузии, который, по её словам, обеспечивает доказуемо безпотерьное ускорение инференса LLM. Он сохраняет качество модели и улучшает пропускную способность на всех уровнях параллелизации. Метод является прямой заменой для существующих тренировочных пайплайнов.
Такой подход превосходит существующие диффузионные бенчмарки по качеству и работает существенно быстрее авторегрессивного декодирования. В то время как обычные авторегрессивные модели выдают высококачественную генерацию, они остаются медленными из-за последовательного декодирования. Существующие диффузионные языковые модели, такие как Mercury2 и Diffusion Gemma, обещают параллельную генерацию, но пока отстают от авторегрессивных моделей по качеству.
Подробности метода "Unlocking Lossless speedups in LLMs via discrete diffusion" будут представлены на вебинаре 15 июля 2026 года. Его проведёт старший научный сотрудник MBZUAI - IFM Сабхам Саху, а выступит инженер-исследователь Cohere Labs Саурабх Дэш. Вебинар является частью серии "Cohere Labs in Conversation", где учёные и инженеры Cohere Labs обсуждают актуальные технические проблемы с внешними исследователями.
Если заявленные результаты подтвердятся, подход Cohere может существенно изменить экономику развертывания LLM, сделав высококачественные модели доступнее и быстрее. Однако пока детали метода и его независимые подтверждения будут представлены лишь на вебинаре, без конкретных цифр или публичного релиза.