Траты на токены AI-агентов часто остаются загадкой до конца месяца, как кредитная карта без детализации. В ответ на эту проблему Alibaba Cloud представила AgentSight — виджет для Agentic OS (ANOLISA), который теперь позволяет визуализировать и оптимизировать потребление токенов, а также отслеживать состояние агентов.
AgentSight предлагает детализированный анализ потребления токенов на двух уровнях. На уровне сессий виджет показывает, сколько токенов тратит каждый агент в рамках одной сессии, позволяя выявить самых «дорогих» или аномальные пики. На уровне диалогов можно углубиться в конкретную цепочку, чтобы понять, какой промпт, история или вызов инструмента приводит к росту расходов. Alibaba приводит пример: простой запрос погоды может обойтись в 140 000 токенов из-за многократного перечитывания старой истории диалога.
Помимо контроля за расходами, AgentSight обеспечивает полную картину здоровья агентов. Панель визуализации в реальном времени показывает статус (онлайн, офлайн, завис), активные сессии и внезапные прерывания. При сбоях виджет не просто сообщает о проблеме, но и автоматически отправляет оповещение, поддерживая запуск перезагрузки для быстрого восстановления, что сокращает ручное вмешательство.
Технически AgentSight работает на основе eBPF-проб ядра, что позволяет неинтрузивно (без изменения кода агентов) перехватывать вызовы LLM API, расшифровывать SSL/TLS трафик и точно подсчитывать токены. Инструмент поддерживает токенизаторы Hugging Face (включая серии Qwen) и автоматически обнаруживает запущенные AI-агенты, а также отслеживает потоковые ответы (Server-Sent Events).
Инструмент доступен в двух вариантах развертывания: как виджет в облаке Alibaba Cloud или для установки локально. AgentSight является ключевым компонентом операционной системы Agentic OS (ANOLISA), которая специально разработана для эффективной работы с нагрузками AI-агентов.
AgentSight превращает непрозрачные траты на токены и сложное поведение AI-агентов в детализированный журнал, доступный для анализа и оптимизации. Это критически важно для контроля операционных расходов и повышения надежности систем с агентами. Однако Alibaba пока не предоставила конкретных цифр потенциальной экономии или независимых бенчмарков по оптимизации.