CLARO：基于 VLM 智能体的杂乱感知机器人编排器，用于开放词汇抓取
研究团队提出 CLARO，一个由视觉语言模型（VLM）驱动的智能体，负责编排开放词汇目标检测、分割、6 自由度抓取和非抓取式推动等技能，用于在杂乱环境中定位并取出语言指定的目标。系统维护过往动作记忆以支持长时程执行，输出抓取位姿或 3D 路点，无需任务特定训练即可跨机械臂迁移。在动态仿真环境与标准图像基准上，CLARO 平均成功率为 89.1%，在高杂乱场景中相对最强对比方法提升超过 16%；部署到真实机械臂后成功率为 88.8%，展示了仿真到现实的泛化能力。
发布于 10-27 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《CLARO: Clutter Aware Robot Orchestrator for Open-Vocabulary Grasping using VLM Agents》查看原链
arXiv:2610.24016v2 公告类型：替换 摘要：能够遵循自然语言指令的机器人可在家庭、仓库和实验室中实现广泛的自主应用。 真实环境多样且往往高度杂乱，要求机器人进行多步规划、执行动作并在朝目标推进的过程中重新规划。 我们提出 CLARO（CLutter-Aware Robot Orchestrator，杂乱感知机器人编排器），这是一个 VLM 智能体，负责编排一组感知与操作技能：开放词汇目标检测、分割、6 自由度抓取以及非抓取式推动，以在杂乱环境中定位并取出语言指定的目标。
CLARO 维护对过往动作的记忆以支持长时程执行，并输出操作目标（抓取位姿/3D 路点），从而无需任务特定训练即可跨机械臂迁移。 我们在动态仿真环境和标准图像基准上，将 CLARO 与多种方法进行对比评估，展示了在物体类别、光照和杂乱程度上的强泛化能力。
CLARO 取得 89.1% 的平均成功率，在高杂乱场景中相对最强竞争方法提升超过 16%。 我们进一步沿定位与抓取两个维度分析性能，以刻画各方法的成功与失败之处。 最后，我们将 CLARO 部署到机械臂上，在多样杂乱场景中取得 88.8% 的成功率，并展示了较强的仿真到现实（sim2real）泛化能力。