售價約3,600美金,可用於記錄人類手指的運動,以訓練機器人靈活操作。
它不是遠程操作的,它有一副特殊的手套,可以通過各種傳感器捕獲手部運動的精確數據。與傳統的基於視覺的運動捕捉技術相比,這些手套不會因視覺障礙而失效,更適合在日常活動中使用。
收集手部運動數據後,DexCAP系統使用背包中攜帶的迷你PC從RGB-D攝像機重建3D場景,並將運動數據與之對齊。這樣,就可以獲得非常準確的手部運動模型,用於進一步的機器人訓練。
DexCAP的主要應用場景仍然在機器人學習方面。利用Dexcap收集的數據,研究人員可以訓練機器人執行各種複雜的雙手任務,例如收集網球和包裝物品。這些任務的學習完全基於人類運動數據,不需要任何遠程操作數據。此外,Dexcap還支持擴大野外數據收集的範圍,通過與不同環境中的多個物體交互,讓機器人學到的技能被推廣到不可見的物體上。
目前Dexcap無法處理需要使用武力的行動。為了克服這一限制,該團隊正在探索將人在循環糾正引入Dexcap系統中。這種方法允許在實際應用中進行快速修正,提高機器人執行需要精細力控制的任務的能力,例如泡茶或使用剪刀。
我們可以在沒有實際機器人的情況下使用可穿戴設備來收集機器人數據嗎?
數據來自:@chenwang_j
是的!戴著手套!🧤
我們很自豪推出DexCAP,這是一款可攜式手部運動捕捉系統,可收集3D數據(點雲+手指運動),用於訓練機器人靈巧的手。一切都是開源的
項目地址:https://dex-cap.github.io
視頻: