SP-HLM：稀疏姿态驱动的运动生成与全身控制，用于人形机器人移动操作
研究提出 SP-HLM 框架，以五个任务关键身体姿态加学习到的潜在运动先验构成稀疏姿态接口，替代单一动作表示。其中 SP-VLA 视觉-语言-动作模型通过异步动作分块推理，从多模态观测与语言指令预测稀疏姿态和手指关节位置；SP-MGM 经两阶段蒸馏训练，实时重建全身运动；预训练运动编码器将其映射为紧凑潜在表示；SP-GMT 通用运动跟踪器融合显式稀疏目标与隐式运动先验完成全身控制。仿真与真实人形机器人实验显示，其运动跟踪、全身协调和移动操作成功率优于现有方法。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《SP-HLM: Sparse-Pose-Driven Motion Generation and Whole-Body Control for Humanoid Loco-Manipulation》查看原链
人形机器人的移动操作需要在高层任务策略与全身控制之间建立有效的接口。 现有接口通常对任务意图和全身协调使用单一动作表示，这可能给高层策略带来负担，或使其中一方面描述不足。 我们提出 SP-HLM，一个基于稀疏姿态驱动接口的框架。 该接口将五个任务关键身体姿态与学习到的潜在运动先验相结合，以互补形式表示空间意图和全身协调。
SP-VLA 是一个视觉-语言-动作模型，它首先通过异步动作分块推理，从多模态观测和语言指令中预测任务相关的稀疏姿态与手指关节位置。 给定这些稀疏目标，SP-MGM 是一个通过两阶段蒸馏训练的运动生成模型，实时重建协调的全身运动。 预训练的运动编码器将该运动映射为紧凑的潜在表示。
随后，通用运动跟踪器 SP-GMT 将显式稀疏目标与该隐式运动先验整合，用于全身控制。 仿真和真实人形机器人上的实验表明，与现有方法相比，该方法在运动跟踪、全身协调和移动操作成功率方面均有提升。 更多结果和视频见项目页面。