ArtifactArena：以模型在物理世界中构建的成果来评估模型
arXiv 论文提出 ArtifactArena 开放式评测平台，要求模型完成物理落地的软硬件协同设计任务：设计功能完整的机器人，并在仿真竞技场中对战。评测覆盖零样本、验证器引导的迭代优化和开放式物理设计三种能力，分别依据文本描述、物理仿真器反馈和对战数据改进机器人制品；模型排名由制品间一对一锦标赛的 Elo 分决定。框架与锦标赛基础设施对外开放，供社区持续提交，以构建不会饱和的测试平台。
发布于 10-27 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《ArtifactArena: Evaluating Models by What They Build in the Physical World》查看原链
为了评估前沿模型，我们必须衡量模型在真实物理环境中能够设计和构建什么，而不是衡量它们说了什么。 我们提出 ArtifactArena，这是一个开放式平台，模型在其中面对一个物理落地的软硬件协同设计挑战：设计功能完整的机器人，在仿真竞技场中竞争。
我们通过三套评测框架评估前沿模型的零样本能力、验证器引导的迭代优化能力以及开放式物理设计能力，这些框架分别基于文本描述、物理仿真器反馈和对战数据来改进模型产出的机器人制品。 我们通过模型制品之间的一对一锦标赛得出 Elo 排名，以此基准测试这些能力。
我们发布该框架与锦标赛基础设施，供社区持续提交，从而建立一个持续运行、不会饱和的测试平台，以持续衡量开放式智能在物理世界中不断扩展的边界。 更多信息请访问 https://artifactarena.ai。