WorldOracle：将动作条件世界模型与真实世界执行进行基准对比
arXiv 发布 WorldOracle 基准（编号 2610.18826v3），用于将动作条件世界模型（ACWM）与成对的真实世界执行进行对比：给定相同初始观测和低层动作序列，检验预测 rollout 是否复现真实物理后果与任务状态转移。评估含物理状态正确性、交互空间对齐、关键交互区域保真度、多视角动作一致性四个维度，配套覆盖不同交互动态与具身形态的真实世界训练/评估套件，情节为长时多段且包含成功与失败执行。在七个代表性 ACWM 上的实验显示各模型优势与失败模式存在差异，数据集、评估代码与排行榜已公开。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《WorldOracle: Benchmarking Action-Conditioned World Models against Real-World Executions》查看原链
我们推出 WorldOracle，这是一个专门用于将动作条件世界模型（ACWM）与成对的真实世界执行进行对比评估的基准。 给定相同的初始观测和低层动作序列，WorldOracle 检验预测的 rollout 是否复现真实世界中发生的情况，包括物理后果和任务状态转移。
我们从四个互补维度评估模型：物理状态正确性、交互空间对齐、关键交互区域保真度和多视角动作一致性。 为支持这一评估，我们整理了覆盖不同交互动态和具身形态的真实世界训练与评估套件。 评估套件包含长时、多段的情节，既有成功执行也有失败执行，从而能够跨不同动作结果和行为分布进行评估。
在七个代表性 ACWM 上的实验揭示了各模型不同的优势和失败模式。 WorldOracle 为测量和推进面向操作的动作条件世界建模提供了系统化基础。 我们发布了数据集、评估代码和排行榜：https://worldoracle-benchmark.github.io/。