EmbodyHOI：面向人形机器人灵巧操作的具身感知手-物交互生成
EmbodyHOI 在冻结的流匹配手-物交互轨迹生成器采样循环内嵌入针对特定人形本体的可微逆运动学求解器，将梯度回传以联合优化人形相对物体的位置，引导仅在推理阶段生效，因此一个在人体手部姿态上训练的生成器无需重训练即可迁移到不同人形本体。在 ARCTIC 轨迹上，针对宇树 G1 与 H1-2 两款人形机器人，该方法将重定向后的腕部误差从 8.9 cm 降至 0.6 cm，50 个随机 G1 任务成功率从 68% 升至 79%，四项任务 H1-2 套件从 62% 升至 76%。作者称事后腕部精修与等算力 best-of-N 选择虽 IK 能量更低，但训练出的策略更差。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《EmbodyHOI: Embodiment-Aware Generation of Hand-Object Interactions for Humanoid Dexterous Manipulation》查看原链
人形机器人灵巧操作需要既语义丰富又对目标机器人运动学可行的参考动作。 文本条件的手-物交互（HOI）生成器能提供多样、由语言指定的演示，但它们是在人体（MANO）空间合成动作，具身差距因此被推迟到事后重定向阶段，部署到机器人上的轨迹可能无法保持与物体的接触，并损害策略学习。
我们的核心思路是：机器人可达性应在交互轨迹生成过程中就施加约束。 我们提出 EmbodyHOI，在冻结的流匹配 HOI 轨迹生成器的采样循环内，运行针对特定人形本体的可微逆运动学（IK）求解器，将具身感知 IK 求解器的梯度回传给 HOI 采样器，并联合优化人形机器人相对物体的位置。
由于引导仅在推理阶段起作用，一个在人体手部姿态上训练的 HOI 轨迹生成器无需重训练即可迁移到不同人形本体。 在 ARCTIC 轨迹上，针对两款差异明显的人形机器人（宇树 G1 与 H1-2），该基于引导的方法将重定向后的腕部误差从 8.9 cm 降至 0.6 cm，同时保持文本到 HOI 的生成质量不变，并将 50 个随机 G1 任务的成功率从 68% 提升至 79%，在四项任务的 H1-2 套件上从 62% 提升至 76%。
关键在于，用于弥合具身差距的更廉价替代方案均未能超过 EmbodyHOI：事后腕部精修与等算力 best-of-N 选择虽然 IK 能量低于我们的引导方法，但训练出的策略更差。 仿真结果见网站 https://embodyhoi.github.io/。