通用智能体能看图写代码，但能操作机器人吗？视觉语言智能体选择观察目标
南洋理工大学及合作者提出CodeActionBench基准，用于评估具身操作中智能体代码即策略的完整闭环：智能体自主选择观察视角与视觉目标、构建3D估计、生成操作姿态、编写并调试程序，并自行判断任务完成。在双臂仿真配置中，尝试成功率从2.7%到73.3%不等，GPT-6 Astra（Codex CLI）达到73.3%，Claude Opus 5为49.3%（参考测试框架）和45.3%（Claude Code）；在七个共享参考测试框架配置中Opus领先，Gemini 3.6 Flash以20.0%紧随。轨迹分析显示视觉定位、3D估计和程序纠正是三个独立瓶颈。基准、代码与项目页面均已开源。
发布于 10-25 21:43来源：机器之心 JIQIZHIXIN
转载 · 官方发布原文：机器之心 JIQIZHIXIN ·《A general agent can see images and write code — but can it operate a robot? Vision-and-language agents choose what to lo》查看原链
通用智能体能看图写代码，但能操作机器人吗？ 视觉语言智能体选择观察目标、估计3D目标并编写程序来行动。 然而，现有机器人基准要么假设固定的策略接口，要么没有测试完整的智能体循环：观察、估计、编码、纠正、判断完成。 一个真正通用的视觉与代码智能体能否在物理操作中闭环？
南洋理工大学及合作者提出CodeActionBench（ArXiv，项目 https://t.co/D6FKiM4Qxp）。 CodeActionBench评估用于具身操作的智能体代码即策略：智能体自主选择观察视角和视觉目标，构建3D估计，构建操作姿态，编写和调试程序，并判断自身完成情况。
评估同时检查任务结果、中间进度和完成判断。 在双臂仿真配置中，尝试成功率从2.7%到73.3%不等——GPT-6 Astra（Codex CLI）达到73.3%，而Claude Opus 5得分为49.3%（参考测试框架）和45.3%（Claude Code）。
在七个共享参考测试框架配置中，Opus领先，Gemini 3.6 Flash以20.0%紧随其后。 轨迹揭示了智能体失败之处：视觉定位、3D估计和程序纠正各自是独立的瓶颈。 基准、代码和项目页面均已开源。 结果：CodeActionBench测试机器人操作的全智能体代码即策略循环——观察、估计3D、编码、纠正、自我判断——成功率范围2.7%–73.3%（GPT-6 Astra 73.3%，Claude Opus 5 49.3%/45.3%）——来自南洋理工大学，基准、代码和项目开源。
CodeActionBench：评估具身操作的智能体代码即策略 项目：https://t.co/C3unUtIRbI 代码：https://t.co/lhg5jHWJkn 论文：https://t.co/OQWC78OUko 我们的报告：https://t.co/5nmxPLdKTC 📬 #PapersAccepted 机器之心