Нейросети обычно работают с фиксированной глубиной рассуждений, но теперь инженеры могут настраивать этот параметр. Together AI открыла доступ к мультимодальной модели Inkling от Thinking Machines Lab, которая позволяет регулировать усилие вывода, оптимизируя производительность и стоимость задач.
Главная особенность Inkling — регулируемое усилие вывода. Разработчики могут настраивать, сколько рассуждений модель применит к задаче, что позволяет балансировать глубину анализа, потребление токенов и задержку для разных рабочих нагрузок.
Модель является мультимодальной: она принимает на вход текст, изображения и аудио, а на выходе генерирует текст. Это достигается за счет унифицированной декодерной архитектуры, обрабатывающей все три типа данных. Легковесные башни эмбеддингов преобразуют патчи изображений и квантованные аудиоданные в эмбеддинги той же ширины, что и текстовые токены.
Inkling прошла пост-обучение для широкого круга задач, включая научные рассуждения, программирование, агентные рабочие процессы, прогнозирование и калиброванное предсказание. Предварительные оценки показывают высокие результаты на тестах по научным рассуждениям и конкурсной математике, а также в задачах, связанных со зрением и аудио.
В основе Inkling лежит архитектура Mixture-of-Experts с 975 миллиардами общих параметров и 40 миллиардами активных параметров на токен, а также контекстным окном в 1 миллион токенов. Среди архитектурных нововведений:
- Относительное внимание с условием запроса — вместо традиционных позиционных эмбеддингов, модель интегрирует позицию токена в механизм внимания через обучаемый относительный сдвиг.
- Короткие причинные свертки (sconv) — легковесные свертки с полем восприятия в четыре токена, применяемые к потокам ключей, значений, а также к выходам внимания и полносвязных слоев для эффективного объединения информации.
- MoE с общим экспертом-приемником — маршрутизатор выбирает несколько специализированных экспертов и назначает вес общим экспертам, которые динамически конкурируют за вес смеси на каждом токене.
Together AI предлагает оптимизированную платформу для развертывания Inkling, включая:
- Мгновенный доступ — модель доступна сразу (Day 0) через бессерверные (serverless) API, без необходимости управления инфраструктурой.
- Единый эндпоинт — все мультимодальные входы (текст, изображение, аудио) обрабатываются через один вызов API, устраняя потребность в отдельных пайплайнах.
- Управление усилием рассуждений через API — настройка глубины рассуждений Inkling контролируется напрямую через API, позволяя регулировать стоимость и скорость на уровне запроса. Производительность модели на платформе повышается благодаря FlashAttention-4 — оптимизированному ядру внимания, адаптированному под архитектуру Inkling.
Возможность динамически регулировать глубину рассуждений в сочетании с нативной мультимодальностью даёт инженерам новый уровень контроля над балансом между результатом и расходами. Пока эти возможности подкреплены предварительными оценками от разработчиков, но доступность через платформу Together AI позволяет быстро проверить их на своих данных.