Миллион токенов контекста — это примерно 1250 страниц текста, которые модель может обрабатывать за один раз. Именно такой объем теперь предлагает флагманская модель Tencent Hy4 Preview, ставшая доступной на платформе OpenRouter.
Tencent Hy4 Preview поддерживает генерацию текста (text-to-text) и обладает контекстным окном в 1 048 576 токенов. Это позволяет модели работать с очень большими объемами данных, например, целыми книгами или обширными документами. В основе модели лежит архитектура Mixture-of-Experts (MoE) с общим числом параметров в 770 миллиардов. Однако при обработке каждого токена активируются только 49 миллиардов параметров, что обеспечивает высокую эффективность и скорость.
Архитектура включает 78 слоев: первый использует стандартную полносвязную сеть (FFN), а остальные 77 слоев заменены на MoE. Каждый MoE-слой содержит 256 маршрутизируемых экспертов и одного общего эксперта. Для каждого токена активируются восемь маршрутизируемых экспертов вместе с общим. Дополнительно встроена MTP-слой (Multi-Task Prediction) с 10 миллиардами параметров (0,7B активированных) для спекулятивного декодирования. Модуль внимания использует Gated DeepSeek Sparse Attention (Gated DSA) с IndexCache, а остаточный путь — iHC (identity Hyper-Connections) для расширения информационного потока между слоями.
Контекстное окно в 1 миллион токенов ставит Hy4 Preview в ряд с лидерами отрасли. Например, Google Gemini 1.5 Pro предлагает до 10 миллионов токенов, также используя MoE-архитектуру. Модель является частью семейства Tencent Hunyuan — собственной разработки Tencent, представленной в сентябре 2023 года. Hunyuan уже интегрирован в 50 продуктов Tencent и ориентирован на корпоративных пользователей в Китае, предлагая сильные возможности обработки китайского языка, логического рассуждения и выполнения задач.
Появление Tencent Hy4 Preview на OpenRouter даёт разработчикам ещё один инструмент для работы с масштабными задачами, где важны и объем контекста, и эффективность MoE-архитектуры. Модель расширяет выбор высокопроизводительных решений вне проприетарной экосистемы Tencent. Остаётся увидеть, как она покажет себя в реальных задачах и какую нишу займёт среди уже доступных MoE-моделей.