SMR：从人类语义中学习人形机器人的流式运动重定向
论文提出 SMR，一种从语义条件物理专家中学习的流式神经运动重定向器，用于将人类运动迁移到人形机器人。方法先把人类运动转换为机器人任务空间中的身体关键点位置、朝向与速度目标，由物理专家在仿真中于接触、动力学和执行器约束下跟踪；再在专家执行的状态轨迹上训练严格因果的 Transformer，每帧仅用当前与过去的人类观测生成运动参考，交给下游全身控制器。实验称语义条件物理专家在语义保真度与物理有效性上优于直接优化式重定向，流式重定向器在相同全身控制器下闭环性能优于运动学与物理修正基线。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《SMR: Learning streaming motion retargeting for humanoids from human semantic》查看原链
arXiv:2610.29169v1 公告类型：新论文 摘要：将人类运动重定向到人形机器人，需要在保留运动语义的同时考虑机器人的物理约束。 运动学流程通过几何匹配来规定机器人轨迹，却不判断该轨迹能否在机器人动力学条件下执行。 此前的物理监督神经方法在经物理修正的运动学轨迹上训练双向全序列模型，仍然依赖预设的运动学解，并且需要非因果上下文。
我们提出 SMR，一种从语义条件物理专家中学习得到的流式神经运动重定向器。 我们将人类运动转换为机器人可感知的任务空间目标，包括身体关键点的位置、朝向和速度。 物理专家在仿真中直接跟踪这些目标，并受接触、动力学和执行器约束。 我们在其执行的状态轨迹上训练一个严格因果的 Transformer，这些轨迹完成了运动并通过语义与物理有效性检查。
对每一帧输入，学生模型仅使用当前和过去的人类观测，为下游全身控制器生成机器人运动参考。 实验表明，语义条件物理专家生成的运动在语义保真度和物理有效性上优于基于直接优化的重定向；在相同的全身控制器下，所得流式重定向器相比运动学和物理修正基线取得更好的闭环性能。