Полный голосовой агент — слух, рассуждение, речь — обычно живёт в облаке. Инженер ElevenLabs уместил его целиком в Raspberry Pi 4: ни одного облачного вызова.
Большинство моделей ограничивают контекст тысячами токенов, но NVIDIA выпустила Nemotron 3.5 Super VL, способную обрабатывать до миллиона токенов. Теперь эта мультимодальная модель, ориентированная на ИИ-агентов, доступна на платформе OpenRouter, в том числе в бесплатной версии.
Ключевая особенность Nemotron 3.5 Super VL — это способность работать с контекстом до 1 048 576 токенов в платной версии и 1 000 000 токенов в бесплатной. Это позволяет модели анализировать огромные объёмы информации, включая целые документы и видео, что критично для сложных агентских задач. Для сравнения, Google Gemini 1.5 Pro, известный своим большим контекстом, предлагает до 1 миллиона токенов.
Модель является мультимодальной (text+image+video->text). Это означает, что Nemotron 3.5 Super VL может понимать и обрабатывать информацию из различных источников — текст, изображения, видео — и генерировать текстовые ответы. Такая универсальность устраняет необходимость в отдельных моделях для разных типов данных в агентских рабочих процессах.
Nemotron 3.5 Super VL разработана как смесь экспертов (MoE) со 120 миллиардами параметров, активируя 12 миллиардов параметров на токен для повышения эффективности. NVIDIA заявляет о до 5 раз более высокой пропускной способности для агентских задач по сравнению с другими открытыми моделями аналогичного размера. Организации, включая Scale AI, Ramp и AI21, уже дообучили эту модель для специализированных рабочих процессов, добившись улучшений в стоимости вывода, задержке и точности. Разработчики могут кастомизировать модель с помощью NVIDIA NeMo, используя supervised fine-tuning, low-rank adaptation и reinforcement learning на открытых наборах данных.
Доступность Nemotron 3.5 Super VL на OpenRouter, особенно с бесплатным уровнем и огромным контекстным окном, демократизирует доступ к инструментам для создания ИИ-агентов. Однако NVIDIA не раскрывает подробности о том, как именно бесплатная версия модели отличается от платной по производительности или ограничениям использования, кроме размера контекста.