RMMBench:面向机器人移动操作的综合基准
研究团队提出 RMMBench 评测基准,将高层与低层具身任务整合进统一框架,构建含 70 个规范任务场景的“导航-操作”任务套件,覆盖从局部操作到长时程复合导航。该基准要求机器人在连续空间中理解语言指令并执行长时程任务,以弥补现有基准任务类型与评测指标有限的问题。结果显示,领先的视觉语言模型在移动操作任务的空间定位上仍存在明显不足,长时程交互中机器人空间感知能力有待增强。
发布于 10-27 10:55来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《RMMBench: A Comprehensive Benchmark for Robotic Mobile Manipulation》查看原链
arXiv:2610.05414v2 公告类型:替换 摘要:尽管视觉语言模型(VLM)的进展已赋予机器人更强的环境理解与任务推理能力,但全面的评测方法对于推进 VLM 在机器人导航与操作中的融合仍然重要。 然而,现有基准缺乏评估多样化机器人任务的综合方法,评测指标也相对有限,难以全面、细粒度地评估 VLM 的具身能力。
为解决这一问题,我们提出 RMMBench,一个要求机器人在连续空间中理解语言指令并执行长时程任务的评测基准。 RMMBench 将高层与低层具身任务无缝集成到统一框架中,构建了包含 70 个规范任务场景的“导航-操作”任务套件,覆盖从局部操作到长时程复合导航的任务。
结果显示,领先的 VLM 在执行移动操作任务时在空间定位方面仍面临重大挑战,也凸显了在长时程交互中增强机器人空间感知能力的必要性。 RMMBench 可通过 https://mxxq-stack.github.io/rmmbench-project/ 访问。
