Обычно, чтобы робот мог предсказывать свои действия и последствия, нужна сложная модель, которая сильно замедляет его работу. Hugging Face в LeRobot v0.6.0 нашёл способ, как дать роботам эту способность, не жертвуя скоростью: модели мира теперь тренируются предсказывать будущее, но отключаются при выполнении задачи.
Обновление LeRobot v0.6.0 сосредоточено на замыкании полного цикла обучения роботов: от представления будущих состояний до оценки успеха и исправления ошибок. Главное нововведение — политики моделей мира (world models), которые учатся предсказывать будущее развитие сцены или действий. Три такие политики добавлены в LeRobot:
- VLA-JEPA — обучает компактную модель предсказывать будущее в скрытом пространстве во время тренировки. Ключевая особенность: модель мира исчезает на этапе инференса, не добавляя задержки.
- FastWAM — сохраняет совместное обучение с видеопотоком, но пропускает предсказание будущего во время работы. Это делает модель в четыре раза быстрее существующих аналогов, сохраняя сравнимую точность.
- LingBot-VA — авторегрессионная видео-экшен модель, которая предсказывает будущие видео и действия, используя реальные наблюдения для уточнения своих "представлений".
Кроме того, в LeRobot v0.6.0 добавлен ряд новых VLA-моделей (Vision-Language-Action), которые расширяют возможности роботов по пониманию и выполнению задач:
- GR00T N1.7
- MolmoAct2
- EO-1
- EVO1
- Multitask DiT
Появился и новый API моделей вознаграждения (Reward Models API) с Robometer и TOPReward, позволяющий роботам более точно оценивать успешность своих действий. Для развёртывания и улучшения моделей введён CLI lerobot-rollout с коррекцией "человек в цикле" в стиле DAgger, а также шесть новых бенчмарков симуляции, объединённых под lerobot-eval. Улучшения коснулись и работы с данными: наборы теперь поддерживают глубину, автоматическую конвейерную обработку языковых аннотаций и ускоренную загрузку до двух раз.
LeRobot v0.6.0 нацелен на замыкание полного цикла обучения роботов: от предсказания действий до их оценки и исправления ошибок. Хотя заявленная экономия на инференсе выглядит многообещающе, реальная эффективность этих подходов на сложных физических задачах ещё предстоит проверить.