智能体世界动作模型
研究提出 AW-0 框架，在统一的混合Transformer架构内将代码、未来视频与机器人动作作为三条耦合生成流联合建模，代码专家生成参数化技能例程与控制逻辑，视频与动作专家分别生成未来视觉状态和底层运动指令。配套的自动化数据整理流水线为机器人和人类视频轨迹标注对齐程序，并把重复例程整合为可复用技能库。在 RoboTwin 2.0 与真实双臂操作任务上，其任务性能优于 VLA 和 WAM 基线，语言遵循、语义推理与鲁棒性也有提升。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Agentic World Action Models》查看原链
arXiv:2610.30136v1 公告类型：新论文 摘要：近期的世界动作模型为机器人操作提供视觉前瞻与未来预测，但缺乏显式的组合式技能复用机制。 智能体机器人学将基于代码的规划与推理同可复用技能相结合，但往往缺乏对物理动力学的预测性基础。
我们提出 AW-0，一个智能体世界动作模型框架，将基于代码的规划与联合视频和动作预测相集成。 我们在统一的混合Transformer架构内，将代码、未来视频和机器人动作作为三条耦合的生成流进行联合建模。 在该架构中，代码专家生成参数化技能例程与控制逻辑，视频和动作专家生成未来视觉状态与底层运动指令。
代码承担两个互补角色：它在世界模型内结构化多步预测与控制，并将技能表示为可供后续智能体执行的可复用程序。 我们进一步提出一条自动化数据整理流水线，为机器人和人类视频轨迹标注对齐的程序，并将重复出现的例程整合为可复用技能库。 在 RoboTwin 2.0 和真实双臂操作任务上的评估显示，相比 VLA 和 WAM 基线，任务性能有所提升，同时在语言遵循、语义推理和鲁棒性方面也有增益，表明智能体代码能够在 WAM 内连接规划、预测与执行。