Скорость вывода больших языковых моделей напрямую влияет на их стоимость и применимость. Tencent Hunyuan представила модель Qwen3-8B-DSpine-b16, которая благодаря технике DSpine достигает рекордной производительности в спекулятивном декодировании, опережая существующие решения.
Ключевое нововведение DSpine — это "Adjacent Causal Injection". Эта методика позволяет каждому предсказанному токену в черновике спекулятивного декодирования учитывать предсказания своего предшественника на каждом слое нейросети. При этом сохраняется параллельная обработка всех позиций, что решает проблему непоследовательности, характерную для других параллельных драфтеров.
Технология DSpine демонстрирует улучшение скорости и качества генерации. Время обработки "post-backbone head" сократилось до 0.36 мс за раунд для модели Qwen3-8B. Это в 2.5 раза быстрее, чем у Domino (0.97 мс) и DSpark (0.88 мс). Средняя длина принятого черновика (acceptance length) выросла на 27.8% по сравнению с DFlash, с 3.77 до 4.82, на различных бенчмарках.
Модель Qwen3-8B-DSpine-b16, выпущенная на Hugging Face, имеет 8 миллиардов параметров. Она предназначена для широкого спектра задач, включая математику (GSM8K, MATH-500), кодирование (HumanEval, MBPP) и чат (LCB, MT-Bench, Arena-Hard). Модель доступна для инференса под лицензией Apache 2.0.
Интеграция DSpine в модель Qwen3-8B показывает, как инновации в алгоритмах декодирования могут улучшить практическую применимость LLM, предлагая более быстрые и качественные ответы при том же размере модели. Однако Tencent не предоставила данных о влиянии DSpine на общую задержку (end-to-end latency) для конечного пользователя.