面向人形-人交互的VLM引导接触重定向与生成式伙伴建模
研究提出REACT框架，从人-人动作捕捉演示中学习可部署的人形-人交互策略，将语义接触结构作为连接演示处理、交互学习与机载控制的关键监督信号。流程包括VLM引导的接触建模与重定向、基于交互感知接触奖励的特权策略学习，再蒸馏为仅用机载自我中心深度传感的策略，并引入生成式伙伴状态建模以应对遮挡。在仿真和Unitree G1真机上测试五种接触丰富交互，语义接触建模改善演示交互保留，生成式建模在五种交互中的四种提升接触召回，真机上仅靠机载传感完成全部五种交互。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction》查看原链
摘要：人形机器人与人类交互时需要在严重的部分可观测性下运行：在近距离身体接触过程中，人类伙伴会被遮挡、截断或处于机器人视野之外，导致姿态估计失败，往往需要外部跟踪或特权人类状态。 同时，大量相互遮挡会给用于学习的人-人动作捕捉数据引入误差。
我们提出REACT，一个从人-人演示中学习可部署人形-人交互策略的框架。 REACT将语义接触结构视为连接演示处理、交互学习和机载控制的关键监督信号。 首先，VLM引导的接触建模与重定向流水线识别语义上有意义的接触，并将其迁移到人形-人几何上，同时保留交互结构。
利用这些标注，特权交互策略通过交互感知的接触奖励学习物理上合理的行为，然后蒸馏为可部署的自我中心深度策略，完全基于机载传感训练，使用逼真的人类深度渲染。 为应对严重的部分可观测性，我们引入生成式伙伴状态建模目标，从被遮挡的自我中心视角预测伙伴运动。
我们在仿真和真实Unitree G1人形机器人上对五种接触丰富的交互评估REACT。 语义接触建模显著改善了演示交互的保留，而生成式伙伴状态建模提高了五种交互中四种的接触召回率，且大多在严重遮挡下。 在真实硬件上，REACT仅使用机载传感完成全部五种交互。