DONIC：基于人类演示的通用双臂灵巧跟踪控制
DONIC 是首个跨操作类别与人体运动来源联合训练的通用双臂灵巧跟踪器，配套发布 BiHOI 多视角数据集，含 1,575 条序列、覆盖 229 个物体，重建交互被重定向为机器人参考。方法将近端策略优化与行为克隆置于反馈循环中，把验证成功的执行回收为训练演示，并以物体为中心的每手奖励和 Clip-Centered Advantages 支持单一策略跨异构参考学习。无需微调，单个检查点在训练物体未见轨迹上成功率 86.79%，留出物体上 57.32%，分别超过最先进双臂跟踪基线 77.36 和 45.73 个百分点。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations》查看原链
尽管灵巧参考跟踪近期取得了进展，现有模型主要聚焦于单手操作和有限范围的交互，未涉及现实生活中常见的双臂灵巧行为。 接触丰富的双臂操作数据稀缺，且协调接触的复杂度更高，使开发通用双臂跟踪器尤为困难。 因此，我们提出：1）DONIC，首个跨操作类别与人体运动来源联合训练的通用双臂跟踪器；2）BiHOI，一个多视角数据集，包含1,575条序列、覆盖229个物体，强调持续的双臂交互，其中重建的交互被重定向为机器人参考。
DONIC将近端策略优化与行为克隆结合在一个反馈循环中，把验证成功的执行回收为训练演示。 以物体为中心的每手奖励在依据各手的参考接触角色进行监督的同时，保持物体运动反馈。 Clip-Centered Advantages 消除依赖参考的优势偏移，同时保留轨迹内差异。
这些设计共同使单一策略能够跨异构参考学习协调操作。 无需微调，单个检查点在训练物体的未见轨迹上达到86.79%的成功率，在留出物体上达到57.32%，分别超过最先进的双臂跟踪基线77.36和45.73个百分点。