用EBench评测前沿智能体：从直接控制到带策略的智能体框架
arXiv 2610.35832v1 发布技术报告，在EBench上评测GPT-6-Astra作为机器人智能体核心，采用与后训练策略相同的视觉与本体感知观测协议。直接控制配置下，智能体直接生成路点命令，整体表现与后训练策略相当，短时程任务领先且跨泛化维度波动最小，但在长时程任务、桌面操作和高精度接触密集任务上落后。带策略的框架允许调用后训练VLA或WAM策略执行动作，整体成功率提升至最强对比策略水平并大幅降低token成本，但因策略调用不理想、固定指令无子目标、恢复控制时抓取被打断，仍低于各组件逐任务上限。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Profiling a Frontier Agent with EBench: From Direct Control to Harness with Policy》查看原链
arXiv:2610.35832v1 公告类型：新论文 摘要：前沿多模态大语言模型（MLLM）无需机器人专项训练即可控制机器人，但它们的能力与经过后训练的视觉-语言-动作（VLA）策略及世界动作模型（WAM）策略在各类操作任务需求下如何比较、如何交互，仍有待系统评估。
在本报告中，我们在EBench上评测GPT-6-Astra，将其作为智能体的核心，在与后训练策略相同的视觉和本体感知观测协议下，通过智能体框架控制机器人。 我们研究两种智能体配置：直接控制，即智能体直接生成路点命令；带策略的框架，即智能体还可调用后训练的VLA或WAM策略来执行动作。
在直接控制下，该智能体相对后训练策略取得了有竞争力的整体表现。 它在短时程任务上领先，并在各泛化维度上表现出最小的性能波动，但在长时程任务、桌面操作和高精度接触密集任务上不如后训练策略。 在带策略的框架中，调用后训练的VLA或WAM结合了两类组件的互补优势，将整体任务成功率提升至所比较的最强后训练策略水平，同时大幅降低token成本。
然而，由于策略调用不够理想、固定指令执行缺乏子目标，以及智能体恢复控制时抓取被打断，性能仍低于各单独组件的逐任务上限。 总体而言，我们的研究刻画了前沿MLLM智能体的能力边界，并为改进未来智能体框架设计指出了方向。 项目页面：https://internrobotics.github.io/EBench-Astra-Tech-Report/