HuGe：利用第一人称经验扩展人形通用视觉-语言-动作模型
研究团队提出 HuGe 系列人形通用视觉-语言-动作模型（VLA），在超过 2000 小时的第一人称人类与机器人数据上预训练，采用三种现有代表性 VLA 架构，为预训练全身控制器预测潜在运动 token 并输出手部控制信号。训练分三阶段：第一人称预训练、人形适配、下游微调；预训练时通过仿真回放构建伪本体感知状态，微调时通过重渲染修改第一人称观测中的手臂外观以缓解形态差异。HuGe 在仿真基准 HumanoidArena 上取得最先进结果；在 Unitree G1 上的真实实验显示，用视觉适配的第一人称示范增强机器人示范可显著提升抓取放置任务成功率。
发布于 10-27 12:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience》查看原链
arXiv:2610.34186v1 公告类型：新论文 摘要：将视觉-语言-动作模型（VLA）扩展到人形机器人，需要协调的全身控制和多样化示范，而这些示范在真实场景中采集成本高昂。 尽管第一人称人类示范提供了任务经验的补充来源，但视觉形态差异和缺失的机器人本体感知，使向人形策略的迁移变得复杂。
为应对这些挑战，我们提出 HuGe，一个在超过 2000 小时第一人称人类与机器人数据上预训练的人形通用 VLA 系列。 具体而言，HuGe 采用三种现有代表性 VLA 架构，为预训练的全身控制器预测潜在运动 token，并输出手部控制信号。
在此基础上，我们提出三阶段训练流程，结合第一人称预训练、人形适配和下游微调。 为促进跨形态迁移，我们在预训练阶段通过仿真回放构建伪本体感知状态，并在下游微调阶段通过重渲染修改第一人称观测中的手臂外观。 借助该流程，HuGe 在仿真基准 HumanoidArena 上达到最先进水平。
此外，在 Unitree G1 上的真实世界实验表明，用视觉适配的第一人称示范增强机器人示范，可显著提高抓取放置任务的成功率。