WorldScape Policy 2.0：以推理增强记忆与上下文学习实现可控世界动作建模
WorldScape Policy 2.0 提出一种带推理增强长短期记忆的可控世界动作模型：因果短期视觉记忆把近期观测作为 DiT 预填充，长短期事件记忆将历史 VLM 输出组织为全局历史、局部活跃与事件边界表示用于进度感知检索，检索结果增强感知与自回归规划 token 形成隐式子目标条件，语义强制把事件级指令语义注入潜在规划通路。作者同时构建 ManipEvent-5M 具身预训练数据集，含近 500 万个事件片段及对齐动作轨迹、回合级任务指令、片段级子任务描述、目标图像与视频演示。仿真与真实平台实验显示其在长时程自主规划、细粒度指令跟随与上下文适应上表现更优。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《WorldScape Policy 2.0: Empowering Steerable World Action Modeling with Reasoning-Augmented Memory and In-Context Learning》查看原链
arXiv:2607.18840v3 公告类型：替换 摘要：世界动作模型（WAMs）通过联合建模视觉状态转移与机器人动作，为机器人操作提供了一种有前景的范式。 然而，现有 WAMs 受限于有限的时间上下文、粗粒度的回合级语言监督以及以纯文本为主的条件输入，这阻碍了任务进度跟踪和细粒度的语言-视频-动作对齐，同时限制了视觉上下文推理与跨具身迁移。
本文提出 WorldScape Policy 2.0，一种具备推理增强长短期记忆的可控 WAM。 其因果短期视觉记忆将近期观测作为 DiT 预填充以保留局部交互动态，而其长短期事件记忆将历史 VLM 输出组织为全局历史、局部活跃与事件边界表示，用于进度感知检索。
检索到的历史增强感知与自回归生成的规划 token，产生隐式子目标条件以支持自主规划；语义强制进一步将事件级指令语义迁移至该潜在规划通路。 为建立细粒度多模态可控性，我们构建了 ManipEvent-5M，一个以事件为基础的具身预训练数据集，包含近 500 万个事件片段，配有对齐的动作轨迹、回合级任务指令、片段级子任务描述、目标图像与视频演示。
这些设计为从高层指令进行自主规划、以及从细粒度文本、目标图像或视频上下文提示进行可控执行提供了统一接口。 在仿真与真实平台上的实验表明，其在长时程自主规划、细粒度指令跟随与上下文适应方面具有更优能力。