Спекулятивное декодирование уже сокращает время ответа больших языковых моделей (LLM) в 2–3 раза, но его применение в творческих задачах, таких как генерация медиа, оставалось без стандартизированной оценки. Теперь fal и Fireworks выпустили EAGLE-4 — новую версию своей технологии, специально адаптированную для ускорения обработки промптов в генеративных моделях, и представили первый публичный бенчмарк для таких сценариев.
EAGLE-4, реализованная на базе Qwen 3.8 27B, фокусируется на оптимизации драфтера — легковесной модели, которая предсказывает следующие токены. Ключевые изменения включают использование скользящего окна внимания для ограничения контекста и низкоранговую кандидатную голову для более эффективного выбора токенов, что снижает вычислительные затраты на предсказание.
Главное новшество — это применение спекулятивного декодирования для ускорения "улучшения промптов" (prompt enhancement) в системах генерации изображений и видео. Этот этап, превращающий короткий запрос в детальное описание сцены, становится узким местом по мере ускорения самих генеративных моделей. Например, видеомодели могут генерировать видео в реальном времени, но этап расширения промпта без оптимизаций может занимать больше времени, чем сама генерация видео. EAGLE-4 решает эту проблему.
Для оценки эффективности в этой новой области представлен Prompt Enhancement SpecBench — публичный набор данных из 400 примеров. Он охватывает 18 уникальных датасетов в четырех категориях:
- text-to-video
- image-to-video
- text-to-image
- image-to-image Каждая категория включает 100 примеров, что позволяет впервые стандартизированно бенчмаркать спекулятивное декодирование для творческих задач.
Интеграция EAGLE-4 и Prompt Enhancement SpecBench указывает на зрелость спекулятивного декодирования, выходящего за рамки текстовых LLM и решающего конкретные проблемы в мультимодальных генеративных системах. Однако в релизе не приведены конкретные цифры ускорения EAGLE-4 на новом бенчмарке, что оставляет вопрос о реальном приросте производительности открытым.