Открытые языковые модели давно доказали свою экономическую выгоду по сравнению с проприетарными, но их внедрение в продакшен часто сталкивалось с проблемой непредсказуемости мощностей. Together AI представила Provisioned Throughput, сервис, который обещает решить эту проблему, предлагая зарезервированные мощности с гарантированным SLA и оплатой за токены, при этом сохраняя ценовое преимущество.
Provisioned Throughput позволяет резервировать инференс-мощности для открытых моделей, таких как MiniMax M3 и GLM-5.2. Вместо борьбы за общие ресурсы или управления выделенными GPU, пользователи получают гарантированный уровень производительности с 99% аптаймом, оплачивая только используемые токены. Together AI заявляет, что такой подход позволяет сократить расходы до 90% по сравнению с проприетарными моделями, такими как Claude Opus 4.8. Услуга доступна в Северной Америке, EMEA и других регионах с минимальным сроком резервирования в один месяц.
В основе сервиса лежат Provisioned Throughput Units (PTU) — фиксированные срезы мощностей, которые резервируются исключительно для клиента. Стоимость одного PTU составляет $0.05 в минуту. PTU расходуются по-разному в зависимости от типа токенов: входные, кешированные входные и выходные. Например, для MiniMax M3 один PTU обеспечивает:
- Входные токены — 138 840 в минуту.
- Кешированные входные токены — 694 200 в минуту.
- Выходные токены — 23 140 в минуту. При полной загрузке один PTU для MiniMax M3 обойдется примерно в $0.36 за миллион входных токенов и $2.16 за миллион выходных токенов. Для сравнения, Claude Opus 4.8 по прайсу стоит $5 и $25 соответственно. API для Provisioned Throughput идентичен существующим serverless и dedicated offerings Together AI.
Together AI утверждает, что Provisioned Throughput заполняет пробел между двумя существующими подходами к использованию открытых моделей: serverless-инференс, который удобен, но непредсказуем для продакшен-нагрузок, и выделенные GPU, которые дают гарантии, но требуют управления инфраструктурой. Сервис предназначен для компаний, мигрирующих с дорогих проприетарных API и нуждающихся в предсказуемой производительности для высоконагруженных продакшен-систем.
Provisioned Throughput от Together AI пытается закрыть разрыв между низкой стоимостью открытых моделей и потребностью в предсказуемой производительности для продакшен-нагрузок. Если заявленные ценовые преимущества и надежность подтвердятся на практике, это может ускорить миграцию компаний с дорогих проприетарных API на открытые решения. Однако пока сервис доступен только по запросу через отдел продаж, что ограничивает его немедленное широкое распространение.