机器人世界模型真的遵循动作吗？诊断并对齐用于策略学习的动作条件生成
论文提出 WorldEcho 评估框架，用视觉完整性和 SE(3) 末端执行器轨迹对齐两项指标，在比专家演示更广的动作分布上检验动作条件世界模型是否真正遵循指令动作。诊断发现，经专家数据训练的模型在演示动作上表现较好，但在非专家轨迹上会生成与指令动作不一致的运动或视觉上无效的推演。为此作者提出 WorldSync，通过扩大动作覆盖、用 Action-Forcing Expert 将中间视频表示锚定到动作引发的机器人动力学、并在动作干预下对齐预测与真值变化。实验显示 WorldSync 降低了 RoboTwin 上的完整性门控误差，用于迭代策略改进时在仿真和真实机器人上成功率更高。
发布于 10-27 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning》查看原链
arXiv:2608.24885v2 公告类型：替换 摘要：动作条件世界模型越来越多地被用作机器人策略改进的学习型模拟器，但其可靠性建立在一个尚未验证的假设之上：生成的未来能够忠实反映任意有效动作的后果。 针对动作特定真值的系统评估仍局限于专家演示之外。
为填补这一空白，我们提出 WorldEcho，通过视觉完整性和 SE(3) 末端执行器轨迹对齐，在更广的动作分布上评估动作遵循情况。 我们的诊断显示，经专家训练的模型在演示动作上表现更好，但在非专家轨迹上表现不佳，生成的运动与指令动作不一致，或产生视觉上无效的推演。
为缓解这些失败，我们提出 WorldSync，它扩大动作覆盖范围，通过 Action-Forcing Expert 将中间视频表示锚定在动作引发的机器人动力学上，并在动作干预下对齐预测变化与真值变化。 实验表明，WorldSync 降低了 RoboTwin 上的完整性门控误差，并且在用于迭代策略改进时，在仿真和真实机器人上均取得更高的成功率。