记忆先于目标：前史记忆在人形机器人移动操作中的作用
论文提出 WholeBodyMem，一种面向人形机器人全身 VLA 策略的物体引导感知记忆模块，用于保留机器人执行目标动作前观察到的物体事件前史。方法用 SAM3 跟踪任务物体，按事件因果地在自适应预算内选取关键帧，动作专家通过交叉注意力结合编码外观、几何与时间的物体 token 读取。作者同时发布 HuMeGo 基准，含 6 个仿真任务与 6 个真实 Unitree G1 任务。结果显示基础策略成功率在仿真中从 29.1% 升至 72.6%，真机从 36.7% 升至 88.3%，标准 SIMPLE 任务从 70.2% 升至 86.9%。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation》查看原链
动态场景中的人形机器人移动操作具有非马尔可夫性质：物体变化或被遮挡时线索会消失，机器人转身行走时线索也会离开视野，而全身视觉-语言-动作（VLA）策略只能看到当前时刻。 我们提出 WholeBodyMem，一种物体引导的感知记忆，保留机器人执行目标动作之前所见物体事件的前史。
SAM3 跟踪任务物体，其事件在自适应预算内因果地选取关键帧，动作专家通过交叉注意力读取这些关键帧，并结合编码外观、几何与时间的物体 token。 我们还贡献了 HuMeGo，一个人形机器人记忆基准，包含六个仿真任务和六个真实世界 Unitree G1 任务。
WholeBodyMem 保留正确的帧而非更多帧，超越无记忆与均匀记忆基线，将基础策略成功率从仿真中的 29.1% 提升至 72.6%，真实机器人上从 36.7% 提升至 88.3%，同时改善标准 SIMPLE 任务（70.2% 至 86.9%）。