До сих пор бионические протезы требовали от пользователя ручного переключения режимов хвата для разных предметов. Канадский стартап smartARM решил эту проблему, создав прототип руки, которая сама распознаёт объекты и выбирает нужный хват.
Протез smartARM оснащён камерой в ладони, которая «видит» окружающую среду. Для распознавания объектов команда использует DINOv2 — открытую модель компьютерного зрения от Meta. Благодаря ей, рука может распознавать предметы всего по нескольким референсным фотографиям и мгновенно адаптироваться к ним. Это позволяет протезу захватывать объекты, анализируя их визуальные особенности, без предварительного программирования или длительного обучения.
Для улучшения распознавания и понимания контекста smartARM также использует очки Meta AI Glasses и набор инструментов Meta Wearables Device Access Toolkit. Очки предоставляют дополнительный контекст с точки зрения пользователя, помогая протезу лучше понять, с чем именно человек взаимодействует. Кроме того, пользователи могут добавлять новые объекты для распознавания через приложение на смартфоне, персонализируя работу протеза под свои повседневные нужды.
Результат — бионическая рука, которая работает интуитивно, без какого-либо обучения пользователя. Это упрощает взаимодействие с протезом и делает его доступнее.
Такой подход, сочетающий открытые модели компьютерного зрения и носимые устройства, указывает на то, что будущее протезирования лежит в создании максимально интуитивных и персонализируемых решений, где технология подстраивается под человека, а не наоборот.