JARVIS：从视觉手册到自主机器人装配
研究团队发布 JARVIS 基准，用于无语言指令条件下由视觉装配手册引导的机器人自主执行，包含 8,987 个场景、236,679 个 LEGO 装配任务，并从中精选 50 个任务组成 JARVIS-v1 交互式评测套件。评估协议覆盖几何精度、结构关系、构建顺序、部分进展与完成度。配套的 JARVIS-agentic 将机器人原语组合为可执行程序，并利用执行反馈验证与恢复，无需任务特定轨迹或参数更新。在 9 个多模态与推理模型上，面向任务的原语提升了平均装配得分，但性能随装配时程明显下降，执行错误难以纠正；先验任务经验改善初始表现，重复反思收益不稳定。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《JARVIS: From Visual Manuals to Autonomous Robotic Assembly》查看原链
视觉手册通过分步图示传达程序性知识，但将这些指令转化为可靠的长时程机器人执行仍然具有挑战性。 我们提出 JARVIS，一种与具体方法无关的基准，用于在无额外语言指令的情况下，由视觉手册引导的自主执行。 JARVIS 包含 8,987 个场景中的 236,679 个 LEGO 装配任务，并精心构建了由 50 个任务组成的 JARVIS-v1 套件，用于交互式机器人评估。
任务涵盖不同的初始结构复杂度和装配时程，要求智能体解读手册、在动态变化的工作空间中定位动作，并执行预期流程。 一种结构感知的评估协议可捕捉几何精度、结构关系、构建顺序、部分进展和完成度。 我们进一步提出 JARVIS-agentic，一种基于工具的具身智能体，它将机器人原语组合为可执行程序，并利用执行反馈进行验证与恢复，无需任务特定的动作轨迹或模型参数更新。
在九个多模态与推理模型上，面向任务的原语提升了平均装配得分。 然而，性能随装配时程显著下降，执行错误仍难以纠正。 先前的任务经验可改善初始表现，而重复反思带来的收益并不稳定，这凸显出在将视觉程序性推理与可靠物理执行相连接方面仍存在持续局限。