Zero-HLM：无需真实机器人数据的可泛化人形机器人移动操作
Zero-HLM 提出 real-to-sim-to-real 框架，用智能手机拍摄与仿真源演示生成人形机器人移动操作训练数据，无需真实机器人数据。其高斯引导的智能体式重建对齐视觉与物理场景，运动-环境协同适应用 rollout 反馈修正全身参考与交互几何，共生成 4,800 条经物理验证的演示。在三个 Unitree G1 任务上，仿真训练的 GR00T N1.7 零样本迁移平均全任务成功率为 66.7%，真实数据训练为 46.7%；泛化配置下池化成功率由 23% 升至 69%。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Zero-HLM: Generalizable Humanoid Loco-Manipulation without Real Robot Data》查看原链
学习可泛化的人形机器人移动操作，目前仍受制于成本高昂的真实世界演示数据。 仿真提供了一种可扩展的替代方案，但需要视觉逼真、物理就绪的场景以及可执行的全身运动。 我们提出 Zero-HLM，一个 real-to-sim-to-real 框架，将智能手机拍摄与仿真源演示转化为可扩展的人形机器人移动操作训练数据。
高斯引导的智能体式 real-to-sim 重建对齐视觉与物理场景；运动-环境协同适应利用 rollout 反馈修正全身参考与交互几何。 我们为三个 Unitree G1 任务的零样本迁移生成了 4,800 条经物理验证的演示。 仿真训练的 GR00T N1.7 达到 66.7% 的平均全任务成功率，而真实数据训练为 46.7%。
在泛化配置上，扩展仿真训练将池化成功率从基础训练真实数据策略的 23% 提升至 69%，且无需额外真实演示。 项目页面：https://young-bit.github.io/zero-hlm/