Когда AI-сервис зависит от внешнего хаба моделей, даже мелкая ошибка в настройках может вызвать сбой. Replicate, провайдер инференса, столкнулся с замедлением работы из-за неверных настроек при получении данных с Hugging Face.
Replicate сообщила об устранении инцидента, который привёл к деградации масштабирования её сервиса. Проблема возникла из-за ошибок в настройках, которые проявлялись при получении данных с платформы Hugging Face. Replicate является верифицированным «Inference Provider» для Hugging Face, позволяя разработчикам запускать, дообучать и развертывать открытые модели через API, используя инфраструктуру Replicate. Эта глубокая интеграция означает, что сбои в получении данных из Hugging Face напрямую влияют на стабильность и масштабирование сервиса Replicate.
Инцидент с Replicate показал, что глубокая интеграция с внешними хабами моделей делает провайдеров инференса уязвимыми. Любая ошибка в настройках загрузки данных может напрямую влиять на масштабирование и стабильность сервиса.