Когда за новой моделью стоят инженеры, работавшие над знаковыми проектами вроде ChatGPT, Character.ai и PyTorch, это уже весомый повод обратить внимание. Именно такой анонс сделала платформа OpenRouter, добавив в свой каталог Inkling Small от Thinking Machines Lab — мультимодальную модель с открытыми весами, которая обещает высокую эффективность.
Модель Inkling Small теперь доступна через API платформы OpenRouter. Она представляет собой мультимодальный трансформер типа Mixture-of-Experts (MoE), способный обрабатывать текст, изображения и аудио, выдавая текстовый ответ. Модель поддерживает внушительное контекстное окно в 524288 токенов в текущей реализации на OpenRouter, при этом её полные возможности достигают 1M токенов.
За разработкой Inkling Small стоит компания Thinking Machines Lab, основанная учёными и инженерами, которые участвовали в создании таких проектов, как ChatGPT, Character.ai, открытых моделей Mistral, а также популярных open-source проектов — PyTorch, OpenAI Gym, Fairseq и Segment Anything. Цель компании — сделать системы ИИ более понятными, настраиваемыми и функциональными.
Модель отличается высокой эффективностью: при 12 миллиардах активных параметров (из 276 миллиардов общих) Inkling Small достигает производительности старшей модели Inkling, которая вчетверо больше. Это стало возможным благодаря тренировке на системах NVIDIA GB300 NVL72. Inkling Small также предлагает функцию переменного усилия рассуждения, что позволяет пользователям балансировать между стоимостью и производительностью. По данным разработчиков, модель конкурентоспособна в бенчмарках Terminal-Bench 2.1 (инструментальное использование), HLE (рассуждение) и IFBench (следование инструкциям).
Доступность Inkling Small на OpenRouter даёт разработчикам инструмент: высокоэффективную и мультимодальную модель с открытыми весами, созданную опытными инженерами. Это открывает новые возможности для создания кастомизированных ИИ-решений, снижая зависимость от закрытых систем. Однако, как и с любой новой моделью, её реальная ценность будет определяться не только заявленными характеристиками, но и тем, насколько хорошо она проявит себя в разнообразных производственных сценариях, особенно при балансировании затрат и производительности через функцию переменного усилия.