TRACE:面向人形机器人运动扩散的类型化参考感知对话编辑
研究团队提出 TRACE,一个面向 Unitree G1 人形机器人的语言条件运动生成与编辑框架,将生成条件锚定在成对训练动作、编辑目标锚定在当前动作上。语言模型从运动数据中学习预测支撑、根节点与手部事件,其时间对齐编码与原始文本共同输入扩散生成器;重力参考状态与轨迹—接触目标用于提升运动学一致性。编辑阶段由类型化请求定义身体—时间范围与相对源目标,参考条件扩散编辑器结合修订事件完成修改,采样时投影保留受保护状态坐标。定量与人工评估显示语义对齐和运动质量优于对比方法,多轮编辑在共享保留约束下执行更可靠,代码已开源。
发布于 10-23 23:02来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《TRACE: Typed Reference-Aware Conversational Editing for Humanoid Motion Diffusion》查看原链
arXiv:2610.21515v2 公告类型:替换 摘要:语言条件的人形机器人运动生成让用户能够通过自然语言创建并细化机器人动作。 核心挑战在于将欠明确的请求与具体运动结构连接起来,且该结构随后可相对于已接受的参考进行修改。 我们提出 TRACE,这是一个面向 Unitree G1 人形机器人的生成与编辑框架,围绕类型化、可度量的运动学量构建。
我们的思路是将生成条件锚定在成对的训练动作上,将编辑目标锚定在当前动作上。 一个语言模型从运动衍生的监督中学习预测支撑、根节点和手部事件;这些事件的时间对齐编码在扩散生成器中补充原始文本。 重力参考状态与轨迹—接触目标提升了运动学一致性。 在编辑方面,类型化请求定义身体—时间范围与相对源的目标。
一个独立的参考条件扩散编辑器利用这些目标和修订后的事件来实现修改,同时采样时投影保留受保护的状态坐标。 定量评估与人工评估显示,相比对比方法,语义对齐和运动质量均有提升。 多轮编辑评估表明,在共享保留约束下,连续相对请求的执行更可靠。 代码见 https://github.com/Multimodal-Perception-Action/TRACE。
