看似合理却错误的选择:将世界-动作模型引导至预期未来
arXiv 2610.28431v1 提出 TaskWAM,一个闭环、阶段感知的世界-动作模型(WAM)框架,用 Mode Tokens 表征细粒度任务要求、用 State Tokens 跟踪执行进度,形成结构化任务状态以引导生成朝向预期未来,针对长时程操作中相似观测-动作片段导致的“阶段混淆”问题。作者同时提出 StageBench 多阶段操作基准,含参数化阶段变化与自动评估。实验称在仿真与真实任务上减少混淆并与 SOTA 方法性能相当,且可即插即用迁移到单臂、双臂夹爪、灵巧手与人形机器人等异构架构与本体。
发布于 10-22 10:55来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《Plausible Future, Wrong Choice: Steering World-Action Models toward Intended Future》查看原链
世界-动作模型(WAMs)已成为具身通用策略的一种有前景的范式,它通过对未来世界演化和机器人动作进行联合建模,来应对多样化的操作任务。 然而,表征多样化的未来只是第一步:一个有能力的世界-动作模型还必须生成符合当前任务要求和执行进度的未来。
在长时程操作中,相似观测-动作片段会出现在不同任务和阶段,现有方法可能生成局部看似合理但方向错误的推演,从而漂移到错误的阶段,即我们称之为“阶段混淆”的现象。 为解决该问题,我们提出 TaskWAM,一个闭环、阶段感知的框架,用模式令牌(Mode Tokens)表征细粒度任务要求,用状态令牌(State Tokens)跟踪执行进度,形成结构化任务状态,将世界-动作生成引导至预期未来。
我们进一步提出 StageBench,一个受控的多阶段操作基准,具有参数化阶段变化和自动评估。 在仿真基准和真实任务上的大量实验表明,TaskWAM 有效减少混淆,并与最先进方法取得有竞争力的性能。 此外,TaskWAM 在异构世界-动作模型架构和机器人本体(包括单臂机器人、双臂夹爪、灵巧手和人形机器人)之间提供强即插即用迁移能力。
