WorldFailBench：世界模型能否理解策略失败？
研究者提出 WorldFailBench 基准，用于检验世界模型能否忠实模拟机器人策略的失败方式，包含失败原因、失败阶段、失败边界三项评估任务。基准覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务，以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示，这些模型在理解策略失败方面存在显著差距。
发布于 10-27 12:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《WorldFailBench: Do World Models Understand Policy Failures?》查看原链
arXiv:2610.33565v1 公告类型：新 摘要：机器人策略评估为部署决策和策略改进提供依据，但物理测试与仿真器准备需要大量投入。 世界模型通过在生成环境中进行闭环交互，提供了一条互补路径。 近期基准已通过结果导向评估（即判断任务成功或失败）展示了其作为策略评估器的潜力。
然而，这种评估无法确定世界模型是否忠实模拟了策略失败的方式。 错误呈现失败可能导致对策略弱点的错误诊断，并使策略看起来已可部署，即使微小的场景变化也会使其失败。 因此我们提出：世界模型是否忠实模拟了策略如何失败、在哪些阶段失败，以及在何种条件下从成功转为失败？
为回答这一问题，我们提出 WorldFailBench，包含三项评估任务。 失败原因测试模型是否复现策略产生的可观察错误。 失败阶段评估失败是否集中在完整任务执行的相同阶段。 失败边界检验模型是否复现策略在仿真中受控场景变化下从成功转为失败的条件。
该基准涵盖 LIBERO 和 RoboTwin 仿真环境中的操作任务，以及 G1 人形机器人执行的真实世界操作任务。 对七个世界模型的实验揭示了它们在理解策略失败方面存在显著差距，为开发更可靠的世界模型用于策略评估提供了指导。