Когда для каждой задачи компьютерного зрения нужна отдельная модель, разработка становится сложной. Tencent Hunyuan предлагает единое решение: выпустила WeVisOne-VL-2B и WeVisOne-VL-4B — модели, которые объединяют восприятие на уровне объектов и пикселей.
WeVisOne-VL унифицирует широкий спектр задач визуального восприятия. Среди них — обнаружение объектов с открытым словарём, их локализация и подсчёт, оптическое распознавание символов (OCR), а также реферальная сегментация (выделение объекта по запросу) и альфа-маттинг (точное отделение объекта от фона). Это достигается за счёт структурированного предсказания следующего токена и использования лёгкого пиксельного декодера.
Модели построены на основе Qwen3-VL. Они используют специальные токены координат (<0>...<1000>) для представления ограничивающих рамок и точек. После каждой предсказанной рамки для плотных задач (например, сегментации) модель генерирует специальный токен экземпляра (<OBJ>, ID токена 152678). Обязательным компонентом для работы является масковый декодер с примерно 9.6 млн параметров.
WeVisOne-VL выпущены под лицензией Apache 2.0, что позволяет использовать их в исследованиях и коммерческих проектах, связанных с визуальным заземлением, локализацией, сегментацией и маттингом. Однако текущая версия ориентирована на одноходовое восприятие изображений и имеет ограничения по работе с тонкими границами альфа-каналов при сложном затенении, комплексной прозрачности или неточной формулировке запроса.
Интеграция объектного и пиксельного восприятия в одну модель WeVisOne-VL от Tencent может упростить разработку сложных систем компьютерного зрения, сокращая накладные расходы на управление множеством специализированных моделей. Однако вендор не предоставил прямых сравнительных бенчмарков с другими унифицированными моделями на открытых данных, что затрудняет оценку их конкурентоспособности.