HexaShell：探索 VLM 智能体作为机器人编程智能体极限的轻量框架
HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人，自身不做决策；执行智能体运行回合，优化智能体在失败后读取完整记录并编写或修复带测试的工具，学习结果以代码形式保留，无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态，通过多视角三角测量定位物体，仿真与硬件输入一致，迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中（隐藏种子，42 个任务各 50 回合），成功率为 46.9%、进度分数 53.2，为官方排行榜当前最优；记忆类任务达 81.0%，精度类任务仅 32.0%，瓶颈在接触而非推理。工具已在 GitHub 开源。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents》查看原链
arXiv:2610.23479v2 公告类型：替换 摘要：基于视觉语言模型（VLM）的智能体现在在机器人操作排行榜上已能与学习策略竞争。 我们研究当编程智能体控制机器人而非计算机时能走多远，以及在哪里止步。 我们的系统 HexaShell 为智能体提供一个轻量框架：一条命令行将其命令转化为机器人运动，自身不做任何决策。
在机器人上，智能体继续做它最擅长的事：读取输出、编写代码并运行测试。 同一模型的两个智能体分担工作。 执行智能体运行每个回合。 失败后，优化智能体读取该回合的完整记录（包括每条命令、图像和消息），找出原因，并编写或修复称为工具的小程序，每个工具都有自己的测试。
智能体学到的东西以代码形式保留，无需演示或训练。 运行时，这些工具只使用真实机器人也具备的输入：RGB 图像、相机标定和机械臂状态。 它们通过相机视图之间的三角测量来定位物体。 由于这些输入在仿真和硬件上相同，工具只需针对机械臂做小幅修改即可迁移到采用不同机械臂的真实机器人上。
我们用 Codex 和 GPT-6-Astra 在每任务单一种子的十种布局上构建工具并冻结；八个 Open 任务共享一套工具。 在 RoboDojo 官方评估中（隐藏种子，42 个任务各 50 回合），HexaShell 达到 46.9% 成功率和 53.2 的进度分数，在 RoboDojo 官方排行榜上为当前最优。
瓶颈在于接触而非推理：记忆类任务达到 81.0%，但精度类任务仅 32.0%。 我们在 https://github.com/HexaFuture/HexaShell 开源了迄今演化出的工具。