前沿大模型进入机器人领域：RoboColiseum 上的跨模型评测
研究团队在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 四个模型开展指令跟随、空间推理、通用操作、鲁棒性四赛道对比评测，通过 Agent2Act 控制框架接入共享观测、动作执行与反馈接口。结果显示四模型能力画像一致：指令跟随得分高（三个接近满分）、空间推理强、通用操作得分低于其他三赛道；Astra 在指令跟随与鲁棒性领先，Opus 在空间推理、通用操作与综合表现领先。组件对比表明框架设计影响任务成功率、规划成本与执行时间，案例研究覆盖全身协调、跨形态操作、精细操作、灵巧手操作与真机任务。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Frontier LLMs Enter the World of Robotics: A Cross-Model Evaluation on RoboColiseum》查看原链
近期研究探索了多模态大语言模型用于机器人控制的潜力，但这些模型在跨模型、跨任务和不同执行设置下的具身能力仍缺乏充分刻画。 我们在 RoboColiseum 上开展多维对比评测，涵盖指令跟随、空间推理、通用操作和鲁棒性四个赛道。 我们实现 Agent2Act 控制框架，通过共享观测、动作执行和反馈接口，将 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 接入评测环境。
在相同任务设置与评分标准下，四个模型呈现一致的能力画像：指令跟随得分高（其中三个接近满分）、空间推理强、通用操作得分低于其他三个赛道。 在评测配置内，Astra 在指令跟随和鲁棒性上领先，Opus 在空间推理、通用操作和综合表现上领先。 结果揭示了模型间互补的优势，以及任务理解与可靠物理执行之间持续存在的差距。
选定任务上的组件对比进一步表明，框架设计会影响任务成功率、规划成本和执行时间。 此外，针对 Astra 的案例研究考察了全身协调、跨机器人形态操作、精细操作、灵巧手操作和真机任务，进一步揭示了该模型在具身任务中的能力与局限。