Когда голосовой AI-агент не отвечает, сложно понять, на каком этапе произошёл сбой: в распознавании речи, генерации ответа или озвучивании. Теперь разработчики, использующие ElevenLabs, смогут видеть весь путь взаимодействия агента благодаря новому плагину LangChain для LangSmith.
Руководитель отдела по работе с разработчиками ElevenLabs Торстен Шефф анонсировал новый плагин LangChain, который позволяет отслеживать действия голосовых агентов. Это часть более широкой инициативы LangChain по внедрению трассировки голосовых агентов в LangSmith. В рамках этой инициативы LangSmith теперь поддерживает интеграции для трассировки четырёх популярных голосовых фреймворков: Pipecat, LiveKit, OpenAI Realtime и Gemini Live с Google ADK.
LangSmith теперь поддерживает захват и трассировку голосовых взаимодействий. Среди возможностей — запись аудио разговоров, отслеживание инференса Speech-to-Text (STT, речь в текст) и Text-to-Speech (TTS, текст в речь), а также выделение прерываний. Это позволяет объединить трассировку текстовых и голосовых агентов в одном месте, что критично для «сэндвич»-архитектуры, где агент состоит из последовательных компонентов STT, текстового агента и TTS.
Интеграция с LangChain дополняет существующую поддержку ElevenLabs Agents для внешних оркестраторов. ElevenLabs уже позволяет клиентам использовать свои голосовые возможности, сохраняя при этом полный контроль над логикой агента. Теперь к этому добавляется глубокая наблюдаемость. ElevenLabs Agents доступны через WebSocket-клиент, поддерживают большинство крупных поставщиков моделей и пользовательские LLM, если они соответствуют спецификации OpenAI Chat Completions или Responses API.
Появление трассировки голосовых агентов в LangSmith через плагин ElevenLabs решает проблему наблюдаемости в сложных системах, что критично для их развития. Это позволит разработчикам быстрее выявлять и исправлять ошибки, ускоряя внедрение голосовых ИИ в продакшн. Однако детальных бенчмарков производительности самой трассировки или примеров миграции существующих агентов на данный момент не представлено.