Разработчики, стремящиеся к максимальной скорости LLM, часто сталкивались с необходимостью адаптации моделей под специфические фреймворки. Теперь библиотека transformers от Hugging Face позволяет добиться производительности vLLM без этих трудозатрат.
Бэкенд моделирования transformers для vLLM теперь соответствует или даже превосходит производительность нативных реализаций vLLM для многих архитектур LLM. Это означает, что разработчики могут бесплатно использовать свои существующие реализации transformers для сверхбыстрого вывода vLLM.
Библиотека transformers зарекомендовала себя как стандарт для машинного обучения, поддерживая свыше 450 архитектур через унифицированные API. Её код самодостаточен и прост для понимания, что облегчает перенос моделей в другие фреймворки.
Год назад Hugging Face интегрировал transformers как бэкенд в vLLM. Это позволило запускать модели из transformers (как LLM, так и VLM) внутри vLLM без необходимости дополнительного портирования, используя оптимизированные техники вывода vLLM, такие как непрерывная батчинг и кастомные ядра внимания.
Ранее бэкенд фокусировался только на внимании как узком месте. Новое обновление расширяет оптимизации, охватывая параллелизацию на GPU, компиляцию и комбинированные ядра. Теперь для получения максимальной производительности достаточно однократной интеграции модели в transformers, вместо двойной работы по созданию кастомных реализаций для vLLM.
Hugging Face продемонстрировал результаты, сравнив свой бэкенд с нативными реализациями vLLM на трёх моделях Qwen3:
- Qwen3-4B (плотная модель, одна GPU)
- Qwen3-32B (плотная модель, параллелизм по тензорам)
- Qwen3-235B-A22B-FP8 (MoE, параллелизм по данным и экспертам на 8xH100)
Во всех случаях бэкенд
transformersдостиг или превзошёл пропускную способность нативногоvLLM.
Для запуска любой поддерживаемой модели Hugging Face через этот бэкенд достаточно добавить один флаг --model-impl transformers. Это работает со стандартными опциями параллелизма, не меняя существующую конфигурацию развёртывания.
Это изменение упрощает процесс развёртывания высокопроизводительных LLM. Теперь инженерам не нужно выбирать между удобством transformers и скоростью vLLM — они получают оба преимущества сразу, сокращая время на адаптацию и оптимизацию.