KITE:解耦运动学与交互,实现零样本跨具身操作
论文提出 KITE 方法,将操作解耦为与具身无关的交互意图预测和具身特定的运动学解码,交互意图以接触模式为基础的学习表示连接。交互策略仅在源机器人演示数据上训练并在不同形态目标机器人间共享,运动学解码器则利用各具身运动学模型生成的合成数据学习。在仿真与真实世界的四项操作任务上,KITE 实现向结构不同目标具身的零样本迁移,覆盖平行夹爪、灵巧手与复合具身,并优于现有基线。
发布于 10-22 10:57来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《KITE: Decoupling Kinematics and Interaction for Zero-Shot Cross-Embodiment Manipulation》查看原链
arXiv:2606.22113v2 公告类型:替换 摘要:由于标准策略将任务所需的交互与特定机器人的动作绑定,操作策略在不同机器人具身之间的泛化仍然困难。 我们研究零样本跨具身操作,即在源具身上训练的策略必须部署到结构不同的目标具身上,且无需额外的任务演示。
我们提出跨具身运动学交互迁移(KITE),将操作解耦为与具身无关的交互预测和具身特定的运动学解码,二者通过基于接触模式的学习到的交互意图表示相连接。 交互策略仅使用在源机器人上采集的演示数据训练来预测意图,并在形态不同的目标机器人之间共享。
运动学解码器通过从每个具身的运动学模型生成的合成数据学习来实现这些意图。 通过这种解耦,KITE 仅需目标具身的运动学模型即可将学到的技能稳健迁移到新具身,无需重新采集任何任务特定演示数据。 我们在仿真和真实世界中的四项操作任务上评估 KITE,涵盖平行夹爪、灵巧手和复合具身之间的迁移。
KITE 成功实现向结构不同的目标具身的零样本迁移,并持续优于最先进的基线方法。 项目网站:https://kite-manip.github.io/。
