Embodied Playground:面向物理、策略与空间推理的长时程智能体机器人基准
研究者提出 Embodied Playground 基准,用于评估基础模型智能体在长时程任务中协调物理、策略与空间推理的能力,要求智能体跟踪任务进度、满足中间约束并依据执行反馈修订计划。该基准包含 410 个任务环境,覆盖基础操作、序列谜题与多阶段家务活动,并从中整理出跨 5 个套件、16 种任务类型的 100 个代表性任务 EP-100,以及 EP-Easy、EP-Hard 难度划分和 20 个任务的精简版 EP-20。共享协议规定了观测与工具访问、资源预算、重复试验,以及对目标完成、规则合规和物理有效性的独立检查。
发布于 10-22 10:54来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《Embodied Playground: A Long-Horizon Agentic Robotics Benchmark for Physical, Strategic, and Spatial Reasoning》查看原链
基础模型为机器人智能体提供了有前景的基础,但长时程任务要求它们在相互依赖的多个阶段中保持连贯推理与可靠物理执行。 我们提出 Embodied Playground,一个用于评估基础模型智能体在此类任务中如何协调物理、策略与空间推理的基准。 智能体必须跟踪任务进度、满足中间约束,并利用执行反馈修订计划,因为先前的动作会塑造后续决策。
该平台包含 410 个任务环境,覆盖基础操作、序列谜题和多阶段家务活动,并在规划深度、几何约束和物理执行要求上有所变化。 我们整理了 EP-100,即跨五个套件、16 种任务类型的 100 个代表性任务选集,以及 EP-Easy 和 EP-Hard 难度划分和精简的 EP-20 选集。
共享协议规定了观测与工具访问、资源预算、重复试验,以及对目标完成、任务规则合规和物理有效性的独立检查。 Embodied Playground 提供了一个统一框架,用于研究基础模型智能体能否在长任务时程中保持有效的推理与行动。 https://winniechen2002.github.io/Agent-bench-website/
