Массовая обработка запросов к LLM часто упирается в стоимость. OpenRouter запустил Batch API, который обещает вдвое снизить цену инференса, если пользователь готов принять задержку. При этом, как выяснилось, ждать дольше часа обычно не приходится.
Новый Batch API позволяет отправлять большие объемы работы или запросы, не требующие немедленного ответа, одним POST-запросом. Поставщик услуг выбирает время обработки в течение 24 часов, а взамен предлагает стоимость инференса вдвое ниже стандартной. Такой подход подходит для задач, где допускается высокая вариативность времени отклика.
К таким задачам относятся:
- Разметка больших объемов текста.
- Обратная заливка эмбеддингов.
- Оценка наборов данных.
- Суммирование множества обращений или тикетов.
- Запуск одного и того же промпта на тысячах строк данных в фоновом режиме.
Несмотря на заявленный 24-часовой срок, на практике ожидание меньше. В ходе двухнедельного бета-тестирования, включавшего более 230 тысяч пакетов, медианное время выполнения составило 7 минут, а 90% запросов завершились в течение часа. Лишь 1% запросов обрабатывался дольше 10,3 часов.
На скорость влияет время суток: пакеты, отправленные с 5 утра до полудня по тихоокеанскому времени, обрабатываются медленнее. В это время 90% самых медленных запросов занимают от 2 до 4,5 часов. В другие часы 90% пакетов обрабатываются менее чем за 1,1 часа, а после 18:00 по тихоокеанскому времени — менее чем за 50 минут. Размер пакета также влияет на скорость: один запрос завершается за 5–11 минут, а пакет из 1000 и более запросов — за 12–21 минуту.
Batch API поддерживает более 70 моделей, включая Xiaomi MiMo-V2.6-Pro-UltraSpeed и Google Gemini-3.8-flash. Он работает с любыми текстовыми запросами, включая чат-комплишены, ответы, сообщения и эмбеддинги. Каждый пакет обрабатывается одним провайдером, по умолчанию выбирается самый дешевый. Пользователи могут использовать собственные ключи (BYOK) для некоторых провайдеров, оплачивая только комиссию за BYOK. Результаты каждого запроса возвращаются независимо, что предотвращает сбой всей задачи из-за нескольких некорректных строк. Входящие данные и результаты хранятся 30 дней или до удаления пакета. Мультимодальный ввод поддерживает только публичные URL-адреса для изображений; аудио, видео и плагин веб-поиска OpenRouter не доступны.
Batch API от OpenRouter делает фоновые задачи с LLM доступнее, смещая фокус с мгновенного ответа на общую экономию. Несмотря на заявленный 24-часовой срок, реальная скорость обработки позволяет использовать его для многих задач, которые ранее были слишком дороги для масштабирования.