В мире, где лучшие мультимодальные модели часто остаются за закрытыми дверями, Hugging Face представила Apertus 1.5 — полностью открытую модель, которая теперь понимает изображения, аудио и получила ряд улучшений. Обновление предыдущих версий 8B и 70B, делая Apertus полноценным мультимодальным инструментом.
Главное новшество — нативная поддержка изображений и аудио наряду с текстом. Теперь модель может обрабатывать документы, диаграммы и даже речь, привнося новые типы данных в диалог. Впервые появился опциональный «режим мышления», где модель сначала обдумывает входные данные, прежде чем дать ответ, что заметно улучшает её логические способности.
Контекстное окно модели увеличилось в четыре раза, достигнув 262 144 токенов. Это позволяет Apertus 1.5 обрабатывать более длинные тексты и вести более глубокие беседы. Также улучшено следование инструкциям и использование внешних инструментов, что делает ответы более предсказуемыми и точными в сложных задачах.
Как и предыдущие версии, Apertus 1.5 полностью открыта: доступны её веса (8B и 70B), данные и полные детали обучения под лицензией Apache 2.0. Модель была дообучена на 4 триллионах дополнительных токенов для 8B версии и 2 триллионах для 70B, достигнув общего объема в 19T и 17T токенов соответственно.
Apertus 1.5 позиционируется как открытая альтернатива коммерческим мультимодальным моделям, таким как GPT-4o, предлагая разработчикам уровень прозрачности и контроля. Однако, Hugging Face не сообщил, насколько её производительность в мультимодальных задачах сопоставима с закрытыми аналогами на публичных бенчмарках.