JRDB-AVR：面向真实环境具身智能体的主动视觉推理基准
研究团队发布 JRDB-AVR 基准，基于真实世界 JRDB 机器人数据，通过结构化问题生成引擎构建，要求具身智能体按时间戳和视角请求有界观察，并同时评估最终答案与支撑该答案的视觉证据。基准问题覆盖时间搜索、视角选择和面向人类的组合推理。团队同时提出参考方法 JRDB-AVR-Agent，维护显式的、基于观察的图结构世界模型并通过求解作答。实验显示当前基线答案准确率与证据准确率存在显著差距，VLM 可给出缺乏证据支持的正确答案。代码与基准已在 GitHub 开源。
发布于 10-27 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments》查看原链
在复杂的具身视觉推理场景中，智能体往往只有有限的视野，回答问题所需的证据可能分布在时间、视角和交互对象上。 因此，模型可能给出看似合理的答案，却从未观察到支撑该答案的相关对象、时间或视角。 当前的视觉推理基准主要评估被动观察和最终答案，忽视了需要主动推理和证据获取的场景。
我们提出 JRDB-AVR，这是一个基于现有真实世界 JRDB 机器人数据构建的基准，通过结构化问题生成引擎将上述缺口转化为明确的评估：具身智能体系统接收视觉推理问题，按时间戳和视角请求有界观察，并同时根据最终答案和支持该答案的视觉证据进行评估。
该基准包含覆盖多个真实世界环境的多样化问题，涉及时间搜索、视角选择和面向人类的组合推理。 我们还提出 JRDB-AVR-Agent，一种参考性的主动推理智能体方法，它维护一个显式的、基于观察的图结构世界模型，并通过求解来回答问题。 实验表明，当前基线在答案准确率与证据准确率之间存在显著差距，说明当前 VLM 可能给出缺乏证据支持的正确答案，而主动的、证据感知的评估对具身视觉推理是必要的。
代码与基准见 https://github.com/ControlNet/JRDB-AVR。