Когда робот учится постоянно, каждый новый цикл "запись-тренировка-развёртывание" обходится всё дороже: приходится перезаливать гигабайты, а то и терабайты данных. Hugging Face совместно с AWS представили решение, которое сокращает эти расходы.
Непрерывное обучение роботов по схеме "запись демонстраций — тренировка политики — развёртывание" сталкивается с проблемой избыточной передачи данных. При ежедневном цикле каждый раз приходится загружать и копировать весь растущий датасет, что приводит к повторяющимся тратам на передачу одних и тех же байтов.
Ключевым элементом решения стали Hugging Face Storage Buckets — новый тип хранилища объектов, основанный на технологии Xet. Оно работает как промежуточный слой для данных между записью и обучением. Формат данных LeRobot, уже используемый в 90 000+ датасетов на Hugging Face Hub, полностью совместим с этим подходом.
Технология Xet обеспечивает экономию трафика за счёт:
- Дедупликации на уровне байтов — Xet-хранилища используют контентно-определённое разбиение (CDC), дедуплицируя данные на уровне чанков (кусков данных) размером около 64 КБ.
- Динамических границ — Границы чанков определяются на основе содержимого файла с помощью скользящего хеша, что делает дедупликацию устойчивой к вставкам или удалениям внутри файла.
- Экономии при загрузке — При загрузке через Xet-клиент система разбивает файл на чанки, и загружаются только те, которых ещё нет в хранилище. Это резко сокращает объём передаваемых данных.
- Мгновенного копирования — Копирование между репозиториями и бакетами происходит мгновенно, поскольку переносятся только хеши содержимого, без повторной загрузки самих данных.
Новый рабочий процесс, реализованный в Strands Agents (SDK от AWS для робототехники), позволяет агенту:
- Записывать демонстрации прямо в Storage Bucket.
- Сохранять данные так, что при синхронизации загружаются только изменённые байты.
- Обучать политику путём потоковой передачи данных (стриминга) напрямую из Hub, без полной загрузки всего датасета.
- Развёртывать обученную политику на роботе, меняя лишь один аргумент.
Это решение Hugging Face и AWS напрямую отвечает на растущие потребности в эффективном управлении данными для непрерывного обучения роботов, где объём информации постоянно растёт. Оно не просто ускоряет процесс, но и снижает операционные затраты на хранение и передачу, обеспечивая более плавный цикл разработки. Реальная экономия и масштабируемость системы в условиях массового развёртывания ещё предстоит оценить.