Выбор оптимальной AI-модели часто становится головной болью для разработчиков, балансирующих между ценой и производительностью. OpenRouter предлагает необычное решение: его новый авто-маршрутизатор openrouter/auto теперь опирается на «мудрость рынка» — коллективный опыт миллионов пользователей.
Новый маршрутизатор openrouter/auto принимает решения, основываясь на агрегированных данных о расходах 55 триллионов токенов в неделю. Система классифицирует входящие запросы по примерно 30 типам задач (например, отладка кода или планирование многошагового агента) и выбирает модель, на которую сообщество OpenRouter тратит больше всего средств для этой конкретной задачи.
Такой подход показал себя эффективнее старых методов. На бенчмарках новый маршрутизатор снизил стоимость до 60% — например, для задачи MMLU Pro (знания) расходы упали с $393.34 до $140.93 при сохранении производительности. В сложных областях, таких как работа с агентами (τ³-bench Banking) и исследования (DSQA), производительность выросла при сопоставимых или меньших затратах.
Маршрутизатор постоянно обновляется, анализируя данные за последние семь дней, и адаптируется к изменениям в предпочтениях сообщества в течение нескольких дней. Пользователи могут задать желаемый уровень стоимости с помощью параметра cost_tier (low, medium, high, xhigh, max), чтобы найти баланс между ценой и качеством. Для многошаговых диалогов реализован механизм «залипания», который удерживает разговор на одной модели, пока она остаётся оптимальным выбором, чтобы избежать дополнительных расходов на перестроение кеша при каждом переключении.
Интеграция «рыночной мудрости» в процесс выбора моделей — это смелый шаг к самооптимизирующимся AI-системам. Однако OpenRouter не раскрывает подробностей алгоритмов классификации задач и того, как именно агрегированные «расходы» переводятся в «лучший выбор», ограничиваясь общими фразами об анонимизированной статистике.