前沿VLM智能体是否已准备好成为机器人通才?基于具身智能体竞技场的实证研究
研究团队提出Embodied Agent Arena,在几何、空间推理、可供性、任务规划与操作五个维度评测十个VLM智能体,1000个案例由32个既有来源与自建GeoProbe基准(168案例,覆盖相机、运动、深度与尺度估计)组成。结果显示闭源权重模型在全部五个领域领先,开源权重VLM空间推理可用但规划与操作成功率明显更低。执行中智能体可达成早期子目标却失去物体控制、将动作绑定到错误接收区域或提前停止;代码修复能恢复执行但不完成任务,自我审查可能推翻正确判断。
发布于 10-27 10:55来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena》查看原链
arXiv:2610.00854v3 公告类型:替换 摘要:机器人通才必须理解场景、据此行动,并满足任务的全部条件。 前沿视觉语言模型(VLM)在多大程度上满足这些要求? 我们提出具身智能体竞技场(Embodied Agent Arena),在几何、空间推理、可供性、任务规划与操作五个维度上评测十个VLM智能体。
其1000个案例结合了32个既有来源与GeoProbe——我们针对相机、运动、深度与尺度估计构建的168案例基准。 一个最小化测试框架通过源生接口将任务决策留给模型。 闭源权重模型在全部五个领域领先,而开源权重VLM展现出可用的空间推理能力,但在规划与操作成功率上显著更低。
在这些平均值之下,相似的几何误差掩盖了不同的尺度与形状失真,而有效的区域估计未必能识别出可用的动作点。 在执行过程中,智能体可以达成早期子目标,却失去对物体的控制、将动作绑定到错误的接收区域,或在所需物理状态成立之前就停止。 额外的计算并不能一致地解决这些失败:代码修复可以恢复执行而不完成任务,而自我审查可能推翻正确判断。
失败代价也有所不同:最强的规划者将失败token支出集中在耗时的身体控制任务上,而其他模型则在各类流程中广泛失败。 匹配的轨迹显示了成功恢复如何利用反馈来恢复缺失的前置条件并推进剩余任务。
