大型多模态模型直接控制机器人：GPT-6 只是一个开始
论文系统评测 GPT-6 Astra 的闭环机器人操控能力，发现语义推理与物理执行存在明显差距，并提出几何约束新基准 LIBERO-GeoMotion，零样本成功率仅 11.1%。
发布于 10-21 14:11来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Large Multimodal Models for Direct Robot Control: GPT-6 as a Beginning》查看原链
近期，视觉空间理解与智能体推理的进展使通用多模态模型能够直接操控机器人，但其具身能力仍缺乏充分认识。 本文使用轻量级智能体执行框架，系统评估 GPT-6 Astra 的闭环机器人操控能力。 我们首先探测三项基本具身能力——深度感知、具身上下文学习与触觉理解——并证明该模型能够利用深度信息、从上下文演示中习得简单操控策略，并利用触觉反馈纠正动作。
随后，我们在五个成熟操控基准上沿六个能力维度评估 GPT-6 Astra。 尽管在若干基准上表现有竞争力——RoboDojo 成功率 26.92%、RoboTwin 2.0 达 76.0%——我们的分析揭示了语义推理与物理执行之间的显著差距，尤其体现在后果感知的动作规划、精度与复杂运动协调方面。
为进一步考察这些局限，我们提出 LIBERO-GeoMotion，一个由几何约束任务构成的新基准，要求精确位姿对齐、平移与旋转协同以及物理动作后果预判。 GPT-6 Astra 零样本成功率仅 11.1%，暴露出将空间理解转化为物理可行运动的困难。
真实世界实验印证了这些发现：简单任务可零样本执行，但在运动可行性、精确控制与物理安全方面仍存在持续缺陷，显著的推理延迟进一步阻碍实际部署。 总体而言，我们的结果刻画了通用多模态模型新兴的具身能力，并勾勒出通往安全、高效、可靠机器人操控的关键挑战。