Внедрить робота в реальный мир мешает его «мозг»: слишком большой и прожорливый. Tencent Hunyuan показала, как сделать его в 10 раз «легче», открыв путь для более практичных автономных систем. Компания выпустила Hy-Embodied-VLM-1.0 — эффективную визуально-языковую модель (VLM) для воплощённых агентов, работающих в физическом мире.
Ключевая особенность Hy-Embodied-VLM-1.0 — архитектура Mixture-of-Experts (MoE), которая позволяет модели активировать всего около 3 миллиардов параметров на токен. При общем размере в 30 миллиардов параметров это означает, что одновременно используется лишь одна десятая часть всех ресурсов. Это делает модель в 10 раз эффективнее предыдущих систем с 32 миллиардами активных параметров, при этом сохраняя сопоставимую производительность.
Модель построена на языковой основе Hy3-A3B и визуальном кодировщике Hy-ViT2. Tencent разработала её для комплексных задач роботов, включая мультимодальное восприятие, понимание и «агентные» способности: рассуждение о действиях, адаптация к меняющимся ситуациям и взаимодействие с физическим миром.
Для развития этих способностей была создана трёхуровневая таксономия:
- Понимание состояния, связанного с действием — точное восприятие состояния агента и окружающей среды.
- Рассуждение о переходах между действиями — понимание, планирование действий и оценка их последствий.
- Последовательное и адаптивное рассуждение — долгосрочное планирование, рефлексия, исправление ошибок и восстановление.
Обучение модели включает саморазвивающийся цикл с использованием обучения с подкреплением и тонкой настройки с отбраковкой выборок, основанной на высококачественных «мыслительных трассах». Это позволяет модели достигать высокой точности и надёжности в принятии решений.
Hy-Embodied-VLM-1.0 тестировали на 38 бенчмарках, охватывающих восприятие, понимание физического мира и агентное рассуждение. Модель заняла первое место в 19 тестах и второе в 11, превзойдя конкурентов, таких как Qwen3.6-A3B (в среднем на 4,4%) и Cosmos 3. По сравнению с предыдущей версией Hy-Embodied-0.5 MoT-2B, новая модель показала улучшение средней производительности на 8,4%.
Веса модели и код для инференса доступны на Hugging Face, поддерживая фреймворки HuggingFace transformers и vLLM. Для работы полной версии в формате BF16 потребуется около 86 ГБ памяти GPU, что обеспечивается одним узлом с 8x80 ГБ видеокартами. Рекомендуемая конфигурация для максимальной пропускной способности — 4 GPU по 80 ГБ. Модель также поддерживает переключение режимов рассуждения для сложных задач или быстрых прямых ответов.
Tencent демонстрирует, что для создания высокопроизводительных и умных агентов для физического мира не обязательно наращивать размер модели. Сокращение активных параметров до 3 миллиардов при сохранении общей 30-миллиардной ёмкости позволяет снизить требования к аппаратному обеспечению, что критично для реального развертывания роботов.