Обучать и тестировать хирургических роботов дорого, долго и опасно: ошибки могут повредить инструменты или биоматериал. NVIDIA представила Cosmos-H-Dreams, генеративный симулятор, который переносит обучение в виртуальную среду, позволяя роботам практиковаться в реальном времени без физического риска.
Cosmos-H-Dreams — это симулятор, который генерирует реалистичные хирургические сценарии, реагируя на действия робота. Он позволяет оценивать и обучать системы на основе видеопотока и данных о кинематике робота. Ключевое отличие от предыдущих версий — поддержка действий в реальном времени.
Чтобы добиться работы в реальном времени, NVIDIA дистиллировала (уменьшила) возможности своей более крупной модели Cosmos-H-Surgical-Simulator. Исходный Cosmos-H-Surgical-Simulator — это фундаментальная модель мира, обученная на наборе данных Open-H-Embodiment. Она предсказывает визуальные последствия действий робота, что полезно для офлайн-оценки политик и генерации синтетических данных.
Cosmos-H-Dreams специализировали для наложения швов с помощью робота da Vinci Research Kit (dVRK), превратив в каузальную «студенческую» модель. Эта модель генерирует сцену авторегрессивно: получает начальный RGB-кадр и поток кинематики робота, а затем выдает следующий блок кадров до продолжения следующего действия. За производительность отвечает FlashDreams — библиотека NVIDIA для ускоренного потокового инференса. Симулятор работает на одной видеокарте NVIDIA RTX PRO 6000.
NVIDIA также продемонстрировала интеграцию Cosmos-H-Dreams с контроллером Versius от CMR Surgical и Cambridge Consultants, что позволяет использовать симулятор в реальном времени на платформе Versius.
Переход от дорогостоящих физических платформ к генеративным симуляторам вроде Cosmos-H-Dreams ускоряет разработку хирургических роботов и открывает путь к полностью автономным системам. Это шаг к «замкнутому циклу физического ИИ в хирургии», где модели смогут учиться и принимать решения в виртуальной среде. Однако насколько виртуальная практика переносима на реальность, еще предстоит показать.