RobotAgentBench：面向开放世界机器人自主性的基准测试
论文提出 RobotAgentBench（RAB）基准，用于在开放世界家庭环境中评估机器人智能体。该基准通过智能体辅助、人在回路的真实到仿真流程，构建 50 个含可交互物体的家庭布局，覆盖 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。评估分任务级与场景级：任务级考察任务发现、情境推理、操作、失败恢复、鲁棒性五个维度；场景级考察能力整合以满足高层用户需求。实验显示操作能力与自主性之间存在显著差距，智能体架构与递归自我改进具优势。
发布于 10-27 12:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《RobotAgentBench: Towards Open-world Robot Autonomy》查看原链
arXiv:2610.34649v1 公告类型：新论文 摘要：视觉-语言-动作（VLA）模型与世界-动作模型（WAM）的最新进展显著提升了机器人操作能力，但要在开放世界中部署机器人，需要超越执行预定义任务的更高自主性。 机器人智能体为这一转变提供了有前景的范式，它将任务发现、情境推理、物理执行与自适应恢复整合进一个闭环交互过程。
然而，现有基准大多评估孤立能力，无法刻画开放世界机器人自主性的复杂性。 我们提出 RobotAgentBench（RAB），一个用于在真实开放世界家庭环境中评估机器人智能体的综合基准。 RAB 通过智能体辅助、人在回路的真实到仿真（real-to-sim）流程，构建了 50 个包含可交互物体与物理落地任务的多样化家庭布局，涵盖 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。
RAB 对机器人智能体能力提供多层级评估：（1）任务级评估系统考察五个互补维度：任务发现、情境推理、操作、失败恢复与鲁棒性；（2）场景级评估考察智能体如何整合这些能力以自主满足高层用户需求。 此外，RAB 支持在统一的规划-执行-验证框架下，对独立 VLA/WAM 模型与多种机器人智能体架构进行系统比较。
大量实验揭示了操作能力与自主性之间的显著差距，展示了智能体架构与递归自我改进的优势，并指出了实现开放世界机器人自主性仍面临的挑战。