Когда AI-агент ошибается, найти причину в его инструкциях сложно. Microsoft представила Agent Optimizer — инструмент, который сам анализирует ошибки и переписывает конфигурацию агента, чтобы повысить его эффективность.
Вместо ручного перебора или дорогостоящего переобучения, Agent Optimizer учится на трассировках выполнения агентов. Инструмент анализирует неудачные прогоны на естественном языке, чтобы понять, почему агент допустил ошибку, и предлагает точечные изменения. Эти изменения касаются конфигурации агента: его инструкций, навыков и описаний инструментов.
Тестирование в Microsoft Foundry показало, что Agent Optimizer улучшил результаты всех шести агентов, участвовавших в эксперименте. Эти агенты охватывали разные задачи: от классификации клиентских отзывов до решения школьных математических задач и обработки налоговых деклараций. Улучшения в точности составили от 6.7% до 17.5%. Например, агент tax-assistant (для расчёта налоговых обязательств) повысил свою точность с 75% до 92.5%. В тестах использовалась модель gpt-4o-mini, а оптимизация касалась системных инструкций.
Процесс оптимизации начинается с того, что пользователь предоставляет Agent Optimizer агента, доверенных оценщиков и набор тестовых случаев. Инструмент ищет лучшую конфигурацию: он предлагает изменения, тестирует их на небольшой выборке, а затем, если кандидаты перспективны, проводит полную оценку. Это помогает снизить затраты. Optimizer поддерживает Парето-фронт лучших конфигураций, а окончательное решение о внедрении новой версии принимает пользователь.
Agent Optimizer переводит настройку AI-агентов из ручного перебора в инженерную практику, решая проблему их масштабируемой и эффективной оптимизации. Это шаг к более предсказуемой и управляемой разработке. Пока инструмент находится в режиме preview, Microsoft не раскрывает информацию о ценовой политике или сроках общедоступности.