Главная проблема в обучении роботов — это дефицит реальных данных, которые дорого и сложно собирать в нужном объёме. Компания Runway, известная своими генеративными моделями видео, представила Praxis-1 — открытую модель, которая позволяет роботам учиться взаимодействовать с миром, анализируя обычные видеозаписи, а не только демонстрации.
Praxis-1 использует ту же технологию предварительного обучения на видеоданных, что и генеративные модели мира Runway, чтобы научить роботов физическому поведению и взаимодействию с объектами. Это сокращает потребность в дорогостоящих демонстрациях, поскольку видеоданные из интернета фактически безграничны. Модель понимает физическую правдоподобность и поведение объектов, что даёт ей огромную фору перед теми, кто учится исключительно на данных о действиях.
Модель уже проходит тестирование у партнёров, таких как Noble Machines, Standard Bots и Ultra, на их оборудовании. Praxis-1 демонстрирует способность выполнять многошаговые задачи в сложных условиях и адаптироваться к разным средам (например, из студии на кухню) без дополнительного переобучения.
Runway подчеркивает, что открытый доступ к Praxis-1 важен для развития физического ИИ в США. Открытая модель предоставляет разработчикам аппаратного обеспечения гибкость и контроль, которых нет у закрытых решений.
Перенос опыта Runway в генерации видео и моделировании физики в область робототехники через Praxis-1 может стать ключевым шагом к масштабируемому обучению роботов. Однако пока неясно, насколько хорошо модель справляется с непредсказуемыми «краевыми» случаями в реальном мире, которые часто ставят в тупик политики, обученные только на демонстрациях.