LAW:统一语言、动作与世界建模,实现智能体物理智能
研究提出 LAW 闭环框架,用混合专家视觉语言模型规划子任务并异步评估执行状态,融合世界-动作模型生成的动作,WAM 内部以 Mixture-of-Transformer Experts 做联合视频-动作建模,双流分层视觉记忆维护时序上下文。在 50 个 RoboTwin 任务上平均成功率 94.21%,将 WAM 主干换成 OpenWAM-α 后升至 95.56%,称创 RoboTwin 开源最优;2B 参数 VLM 优于 Embodied-R1.5 与 GPT-5.5 High 变体。三个长程真机任务平均成功率 65%,对比 π0.5 的 28.33% 与 Fast-WAM 的 25%。
发布于 10-27 13:00来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《LAW: Unifying Language, Action, and World Modeling for Agentic Physical Intelligence》查看原链
arXiv:2610.23334v2 公告类型:替换 摘要:世界-动作模型联合预测动作与未来世界状态,但长程操作还需要语言推理来规划子任务目标、评估执行进度并指导动作选择。 我们提出 LAW,一个闭环的 VLM–WAM 框架,通过语义子任务进度统一语言推理、动作生成与世界建模。
在 LAW 智能体内部,一个混合专家视觉-语言模型规划剩余子任务,估计并融合世界-动作模型提出的动作,并异步评估执行状态以支持持续执行和子任务切换。 在世界-动作模型内部,Mixture-of-Transformer Experts 整合模态特定与共享计算,进行联合视频-动作建模。
双流分层视觉记忆为两个模型维护时间上下文,而子任务局部价值学习使动作评估与语义目标对齐,并保留失败轨迹中成功前缀的监督信号。 LAW 在 50 个 RoboTwin 任务上平均成功率达 94.21%。 将 WAM 主干替换为 OpenWAM-$alpha$ 后,平均成功率进一步提升至 95.56%,在 RoboTwin 上创下新的开源最优结果。
尽管仅有 2B 参数,我们的 VLM 也优于使用 Embodied-R1.5 和 GPT-5.5 High 的变体。 在三个长程真实机器人任务上,LAW 平均成功率为 65%,而 $pi_{0.5}$ 为 28.33%,Fast-WAM 为 25%。
