BEHAVIOR-Spatial 基准：评估机器人的空间理解能力
研究团队发布 BEHAVIOR-Spatial 基准，基于 BEHAVIOR-1K 构建，包含覆盖 49 项活动的 3,256 个空间问题、覆盖 14 项操作任务的 1,240 个定位查询，以及 14 项操作任务和 10 项导航任务的动作评估。基线在留出配置上得分为 41.6%，但在固定训练布局内目标变化时降至 16.1%；VLM 适配与机器人数据预训练提升有限，oracle 视觉目标线索可将两项指标分别提升至 60.3% 和 38.0%。感知评估显示 VLM 问答与定位准确率、VLA 操作性能之间存在依赖策略的相关性。
发布于 10-27 12:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Behavior Spatial Benchmark: Evaluating Spatial Understanding for Robotics》查看原链
机器人任务需要将空间语言与物理场景对应起来，但仅凭任务成功率无法判断空间指令是否被遵循。 我们提出 BEHAVIOR-Spatial，这是一个基于 BEHAVIOR-1K 构建的基准，用于测量空间问答、基于点的目标定位和机器人动作，以考察 VLM 的空间理解与 VLA 行为之间的关系。
它包含覆盖 49 项活动的 3,256 个空间问题、覆盖 14 项操作任务的 1,240 个定位查询，以及覆盖这 14 项任务和 10 项导航任务的动作评估。 我们的操作协议评估留出配置，以及在固定训练布局内请求目标发生变化时的指令遵循情况。
基线在留出配置上达到 41.6%，但在指令变化时仅为 16.1%。 VLM 适配和机器人数据预训练带来的提升有限，而 oracle 视觉目标线索将这两项指标分别提升至 60.3% 和 38.0%。 感知评估揭示了 VLM 问答与定位准确率之间、以及 VLA 操作性能之间依赖策略的相关性。
综合来看，这些发现说明有必要在评估任务完成情况的同时评估空间指令遵循，并考察空间感知性能何时能转化为机器人行为。 项目网站：https://arielchen07.github.io/behavior-spatial/。