ИИ-агенты становятся все сложнее, объединяя информацию из множества источников. Однако их ответы могут быть обманчивы: даже если сам факт верен, он может быть приписан неверному источнику. Hugging Face опубликовал статью о ProvenanceGuard, новом методе верификации для агентов на базе Model Context Protocol (MCP), который решает именно эту проблему.
ProvenanceGuard нацелен на проблему «кросс-источникового смешения» — ситуацию, когда утверждение фактически верно, но приписано неверному источнику. Например, факт из политики компании может быть ошибочно приписан записи о клиенте. Существующие системы проверки фактов, такие как RAGAS faithfulness, не могут это обнаружить, поскольку они проверяют только наличие факта в общем пуле доказательств, игнорируя его первоисточник.
ProvenanceGuard — это пост-генерационный слой верификации, который работает поверх любого MCP-агента. Он не объединяет доказательства в единый контекст, а сохраняет идентификатор источника на протяжении всего процесса. Система последовательно выполняет пять шагов:
- разбивает ответ на отдельные утверждения;
- находит наиболее релевантный источник для каждого;
- проверяет, действительно ли этот источник поддерживает утверждение;
- сравнивает найденный источник с тем, который заявлен или подразумевается в ответе;
- выносит окончательное решение о достоверности каждого утверждения и всего ответа.
Неправильная атрибуция источника может быть столь же разрушительной, как и неверный факт, особенно в чувствительных областях. В клиентской поддержке данные аккаунта могут быть перепутаны с общими правилами, а в медицине информация из истории болезни пациента может быть ошибочно представлена как данные из медицинской литературы. ProvenanceGuard помогает предотвратить такие критические ошибки.
ProvenanceGuard заполняет критический пробел в верификации ИИ-агентов, перенося фокус с простой фактической точности на точность атрибуции источника. Это фундаментальный шаг для построения доверия к ИИ в сложных и ответственных приложениях. Однако в статье не указано, планируется ли открытый релиз ProvenanceGuard как отдельного инструмента или библиотеки.