Модели, способные решать сложные инженерные задачи, обычно остаются внутри компаний-разработчиков. Tencent Hunyuan нарушила эту традицию, выпустив флагманскую серию Hy4-preview — одну из крупнейших открытых моделей на архитектуре Mixture-of-Experts (MoE) с 770 миллиардами параметров.
Модель Hy4-preview основана на архитектуре Mixture-of-Experts (MoE) и содержит 770 миллиардов общих параметров, из которых 49 миллиардов активируются на каждый токен. Она включает 78 слоев, 77 из которых используют MoE с 256 экспертами. В архитектуре применены Gated DeepSeek Sparse Attention с IndexCache для переиспользования разреженных индексов и iHC (identity Hyper-Connections) для улучшения потока информации между слоями. Также интегрирован нативный MTP слой для спекулятивного декодирования.
Tencent утверждает, что Hy4-preview превзошла конкурентов — GLM 5.3 и Kimi K3 — в слепой оценке 203 инженерных задач. Модель оптимизирована для повышения продуктивности в нескольких ключевых областях:
- Программная инженерия — улучшено понимание, планирование, отладка и верификация сложных задач разработки, включая визуальное оформление фронтенда.
- Офисная работа и анализ — преобразует неструктурированные данные из разных источников в готовые документы, таблицы и презентации, точно обрабатывая данные, уравнения и финансовые модели.
- Разработка игр — генерирует играбельные прототипы по одному промпту и работает с игровыми движками, позволяя итеративно дорабатывать проекты.
- Научные исследования — улучшено понимание, рассуждение и решение сложных исследовательских вопросов в таких областях, как ИИ-исследования, молекулярная динамика, физика конденсированного состояния и чистая математика.
Модель Hy4-preview, включая её версию Hy4-preview-FP8 (с уменьшенной точностью), выпущена под открытой лицензией Apache 2.0. Для развертывания поддерживаются популярные фреймворки vLLM и SGLang. Также Tencent предоставляет инструментарий AngelSlim для сжатия и квантования больших моделей, что делает их более доступными для использования.
Релиз Hy4-preview позиционирует Tencent как заметного игрока в сфере открытых MoE-моделей, предоставляя разработчикам инструмент для решения сложных инженерных задач. Сами разработчики отмечают, что это ранняя версия с известными ограничениями: модель может слишком долго рассуждать над комплексными задачами и склонна к чрезмерной самопроверке. Компания планирует быстро доработать эти аспекты, как это было с предыдущей версией Hy3.