EmbodiedLab：面向「为知而行」具身智能体的基准测试
研究团队提出 EmbodiedLab 基准，要求机器人在物理仿真实验室中「为知而行」：智能体获得目标与实验装置后自行选择流程，通过相机读取仪器，改变系统状态并观察反馈，直至发现规律或达成目标。该基准覆盖五个学科、14 个实验装置平台上的 30 个实验，每个实例重新采样系统参数，结果无法预先得知但可精确评分，且每个实验均经验证可解。团队在开发者编码智能体中评估六个前沿模型，比较原生控制、增加感知与运动规划、以及从最强智能体蒸馏操作技能三种配置；原生控制下最强智能体成功率不足一半，多数失败发生在与装置交互环节，操作技能对较弱智能体的提升大于感知与规划。基准与评估代码已在 GitHub 开源。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《EmbodiedLab: Benchmarking Embodied Agents That Act to Know》查看原链
具身智能体被期望通过自主决定如何以及何时与周围环境交互来完成真实世界目标。 对许多此类目标而言，改变世界的物理状态是手段而非目的：智能体通过交互改变系统状态、观察反馈并探索，直到自身达成目标（例如发现物理定律）或弄清目标所需条件；它通过行动来获知。
现有操作基准止步于「为改变而行动」，且目标状态已给定；科学发现基准评估「知」，却用符号动作或数值查询替代物理实验。 我们提出 EmbodiedLab，一个要求机器人「为知而行」的基准。 定量科学实验使该设定可控：每个实例都重新采样系统参数，结果无法预先得知，却可被精确评分。
该基准覆盖五个学科、14 个实验装置平台上的 30 个实验；智能体获得目标与装置后自行选择流程，在基于物理的仿真实验室中操作，并通过相机读取仪器。 评估既检查智能体最终获知的内容（以回合中记录的读数为依据），也检查任务要求的物理状态；每个实验均经验证可解。
我们评估了六个前沿模型，分别置于其开发者的编码智能体中，并比较三种配置：原生观测与控制、增加感知与运动规划、以及从最强智能体蒸馏得到的操作技能。 在原生控制下，最强智能体的成功率也不到一半；对每个智能体而言，多数失败出现在与装置交互环节，且操作技能对较弱智能体的帮助大于感知与规划。
基准及评估代码已发布于 https://github.com/HexaFuture/EmbodiedLab。