Hugging Face: наводим порядок в терминологии AI-агентов daily

В условиях стремительного развития сферы AI-агентов, где новые концепции и продукты появляются почти ежедневно, общепринятая терминология часто отстает, порождая непонимание и затрудняя сотрудничество. Именно эту проблему стремится решить Hugging Face, предлагая стандартизированный глоссарий ключевых терминов для разработчиков и исследователей. Цель инициативы — создать единое ментальное пространство, где «харнес» или «скаффолдинг» имеют четко определенное значение, позволяя участникам рынка эффективно обмениваться идеями и ускорять инновации.

Почему возникла путаница в терминологии AI-агентов?

Быстрое развитие области AI-агентов привело к тому, что их терминология развивается быстрее, чем единое понимание ключевых концепций. Термины начинают размываться, использоваться в разных контекстах или становятся сокращениями для идей, которые никогда полностью не объясняются, что вызывает трудности как у новичков, так и у опытных специалистов, пытающихся следить за последними разработками.

Hugging Face видит необходимость в стандартизации, поскольку нечеткая терминология создает серьезные проблемы для разработчиков и исследователей. Она затрудняет коммуникацию, приводит к недопониманию архитектурных решений и препятствует обмену знаниями. Без общего языка сложнее сравнивать различные фреймворки, делиться лучшими практиками и создавать совместимые системы. Предложенный глоссарий является попыткой закрепить термины, которые часто смешиваются или используются по-разному, предлагая практическую ментальную модель, облегчающую дискуссии. Тем не менее, источники не раскрывают конкретные дальнейшие планы Hugging Face по продвижению этой стандартизации в более широком сообществе.

Фундаментальные определения: Модель, Агент, Скаффолдинг и Харнес.

В контексте больших языковых моделей (LLM) AI-агент — это модель плюс все, что ее окружает, позволяя ей действовать, а не просто отвечать. Он превращает генерацию чистого текста в систему, которая может работать циклически: получать информацию, принимать решения и действовать на основе результатов. Это понятие заимствовано из обучения с подкреплением, где агент — это функция, которая принимает наблюдение и возвращает действие, а среда принимает это действие и возвращает новое наблюдение, и этот цикл повторяется. Модель, такая как Claude, Qwen, GPT или Kimi, сама по себе не имеет памяти между вызовами и не имеет циклов; она отвечает на один запрос и останавливается. Чтобы она стала агентом, ее необходимо обернуть в скаффолдинг и харнес.

Модель интегрируется в структуру агента как центральный компонент, который обрабатывает ввод и генерирует намерение действия. Однако сама модель не может выполнять эти действия. Для этого ей нужен харнес. Таким образом, агент представляет собой модель в сочетании с двумя ключевыми слоями: скаффолдингом и харнесом. Эти элементы вместе позволяют модели воспринимать мир, действовать в нем и поддерживать состояние между шагами.

«Скаффолдинг» (Scaffolding) — это определяющий поведение слой вокруг модели. Он включает системный промт, описания инструментов, способ парсинга ответов модели и управление контекстом — то, что модель помнит между шагами. Скаффолдинг формирует, как модель воспринимает мир и действует в нем, как во время обучения, так и во время инференса. Он определяет инструкции, инструменты и формат, с которыми работает модель.

«Харнес» (Harness) — это слой исполнения внутри агента. Он вызывает модель, обрабатывает ее вызовы инструментов и решает, когда остановить выполнение. Харнес — это то, что заставляет агента работать. Некоторые продукты, такие как Claude Code, Codex и Antigravity CLI, называют всю систему «харнесом» в широком смысле, где харнес означает все, что не является моделью. Однако различие между скаффолдингом и харнесом наиболее важно, когда их необходимо рассматривать отдельно, например, в пайплайне обучения. Например, Claude Code и Codex — это продукты, которые используют эти концепции, будучи тесно связанными с моделями своих поставщиков, в то время как другие, такие как Antigravity CLI и Hermes Agent, позволяют подключать любые модели. В сообществе часто говорят: «Агент = Модель + Харнес», при этом скаффолдинг подразумевается как часть харнеса. Но четкое разграничение позволяет лучше понимать внутренние механизмы и архитектуру систем.

Практические аспекты: Инженерия харнесов и управление контекстом.

Инженерия харнесов — это дисциплина проектирования слоя исполнения внутри агента. Она решает такие задачи, как определение условий остановки агента, обработка ошибок и внедрение защитных механизмов, поддерживающих его работу. Это относится как к обучению, так и к инференсу, и является ключевым для создания стабильных и эффективных AI-агентов. Важность этого подхода подчеркивается в статьях об использовании Codex в агентоцентричных мирах.

Агенты управляют своим контекстным окном путем проектирования того, что модель видит на каждом шаге, включая системные промты, описания инструментов, историю разговоров и извлеченные знания. Это не одноразовое решение; по мере работы модели предыдущие шаги формируют то, что будет включено в будущие вызовы, и харнес активно управляет этим на протяжении всего выполнения. «Инженерия контекста» — это процесс активного управления информацией, доступной модели, что критически важно для ее поведения. Краткосрочная память агента — это то, что остается в контекстном окне во время одного запуска (история разговоров, результаты инструментов), а долгосрочная память сохраняется между сеансами, хранится извне и извлекается по запросу.

Методы для улучшения работы харнеса в реальных продуктах включают итеративную оптимизацию и эксперименты. Например, команда Cursor постоянно улучшает свой агентский харнес, переходя от статического контекста к более динамическому управлению, где агент может сам извлекать необходимую информацию. Они также отслеживают такие метрики, как «Keep Rate» (доля сгенерированного кода, который остается в кодовой базе пользователя) и используют языковые модели для оценки удовлетворенности пользователей на основе их ответов. Это позволяет им непрерывно адаптировать харнес к новым моделям и улучшать общую производительность агентов.

Расширение возможностей агентов: Инструменты, Навыки и Суб-агенты.

Для взаимодействия с внешним миром и выполнения сложных задач AI-агенты используют различные механизмы. «Инструменты» (Tools) — это способ агентов обращаться к внешним ресурсам, таким как API, интерпретаторы кода, базы данных, веб-поиск или файловые системы. Модель выражает намерение использовать инструмент в структурированном формате, а харнес получает этот вызов и направляет его в соответствующую функцию. Результат затем подается обратно в контекст, и цикл продолжается.

«Навыки» (Skills) отличаются от простых инструментов тем, что они представляют собой многократно используемые, структурированные пакеты знаний, которые позволяют выполнять многошаговые задачи. Если инструмент — это одно действие (например, «запустить эту команду»), то навык объединяет все необходимое для достижения цели (например, «исследовать этот баг, сформировать гипотезу, написать исправление»). Они переносимы между агентами и загружаются по требованию. Граница между инструментом, навыком и суб-агентом может различаться в разных фреймворках.

Агент задействует «суб-агента» (Sub-agent) для обработки конкретной подзадачи. Суб-агент вызывается другим агентом, имеет собственную модель и скаффолдинг, рассуждает независимо и возвращает результат. Вызывающий агент не обязан знать, как суб-агент работает внутри. Именно это отличает суб-агента от инструмента (вызов функции) или навыка (упакованное знание): суб-агент сам может рассуждать, использовать инструменты и вызывать других суб-агентов. Вызывающий агент в этом случае иногда называется «оркестратором» (Orchestrator). В отличие от харнеса, который управляет моделью через ее цикл выполнения, оркестратор управляет агентами как единицами, каждый из которых запускает свой собственный харнес, координируя работу между несколькими агентами на более высоком уровне.

Специфика обучения: Среды RL, Тренеры, Роллауты и Вознаграждения.

«Среда RL» (Reinforcement Learning Environment) для обучения LLM-агентов представляет собой симулированную систему, где агент практикует работу, которую он будет выполнять в продакшене. Это динамический объект, который принимает действие в качестве входных данных, обновляет свое внутреннее состояние и возвращает наблюдение. В контексте LLM действия обычно представляют собой вызовы инструментов, а среда оценивает результат, и обратная связь формирует следующую попытку. Ключевые компоненты среды RL включают набор задач, харнес агента, функцию вознаграждения для оценки результатов, управление состоянием и конфигурации среды. Примеры сред RL включают репозитории Git для задач кодирования, симулированные экземпляры Salesforce для корпоративных рабочих процессов или среды электронной почты.

Роль «тренера» (Trainer) заключается в улучшении производительности агента. Тренер запускает множество эпизодов агента, оценивает результаты и использует их для обновления весов внутренней модели. Он управляет генерацией эпизодов, подсчетом вознаграждения и обновлением весов, делая агента более эффективным и способным решать поставленные задачи.

«Роллаут» (Rollout) — это один полный запуск агента от начала до конца, включая то, что агент видел, что он делал, и какое вознаграждение получил на каждом шаге. Это также называют «траекторией» или «следом» в зависимости от контекста. Это необработанные данные, на основе которых обучаются алгоритмы RL. «Вознаграждение» (Reward) — это оценка, которая сообщает алгоритму обучения, улучшается ли модель. Оно может быть проверяемым (прошел/не прошел тест), или обученным (человеческие предпочтения, LLM-как-судья), разреженным (одна оценка в конце эпизода) или плотным (оценка на каждом шаге). Именно вознаграждение использует тренер для фактического обновления весов внутренней модели. Например, в оценке моделей «eval harness» (например, lm-evaluation-harness) используется для запуска фиксированного набора сценариев на контрольной точке модели и записи метрик, а не для обновления весов, что помогает сравнивать и оценивать производительность различных моделей.

Что это значит

Четкое понимание этих базовых терминов критически важно для дальнейшего развития, сотрудничества и инноваций в области AI-агентов. Унифицированная терминология позволяет разработчикам и исследователям эффективно обмениваться идеями, сравнивать фреймворки и создавать более сложные и надежные системы. Это помогает преодолеть барьеры в коммуникации, ускорить циклы разработки и внедрения, а также обеспечить более последовательный и предсказуемый прогресс в этой динамичной сфере искусственного интеллекта.