面向安全人机协作的视觉语言模型碰撞接地能力探究
研究团队在 Habitat 3.0 中构建 TouchSafeBench 基准，包含 2,940 个模拟室内共处片段，覆盖社交导航与社交重排，配有同步多视角 RGB-D、俯视轨迹图、标定相机元数据及仿真器接触标签，用于评估视觉语言模型的碰撞接地能力。测试三个前沿或机器人学导向 VLM 与九种视觉表示，最佳平均 Macro-F1 低于 50%，显式深度未自动转化为机器人本体碰撞证据，机器人与场景接触的判断持续难于与人接触风险。
发布于 10-27 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Probing Collision Grounding in Vision-Language Models for Safe Human-Robot Collaboration》查看原链
安全的人机协作需要的不仅是视觉描述：监控系统必须判断机器人本体是否与场景或人保持安全距离、已经发生碰撞，还是即将发生碰撞。 我们将这一能力称为碰撞接地（collision grounding）：把视觉观测与机器人本体几何、相机视角、场景布局、人的接近程度以及时序运动绑定起来，从而推断当前及即将发生的接触。
我们提出 TouchSafeBench，一个基于物理的基准，用于评估视觉语言模型（VLM）的碰撞接地能力。 TouchSafeBench 在 Habitat 3.0 中构建，包含 2,940 个模拟室内共处片段，覆盖社交导航与社交重排两类任务，并配有同步多视角 RGB-D 观测、俯视轨迹图、标定相机元数据以及由仿真器导出的接触标签。
我们研究两个面向部署的任务：对当前安全状态进行分类，以及在接触发生前预警即将到来的碰撞。 在三个前沿或面向机器人学的 VLM 与九种视觉表示上，当前模型仍远未达到可靠水平：最佳平均 Macro-F1 仍低于 50%，显式深度信息不会自动转化为机器人本体的碰撞证据，且机器人与场景的接触始终比与人接触的风险更难判断。
TouchSafeBench 揭示了具身 VLM 的一个核心局限：视觉流畅并不等于物理责任能力。 可靠的机器人安全监控需要能够显式绑定视角、机器人形态、度量几何与未来碰撞的表示。 该基准已发布于 https://jun25336-bit.github.io/TouchSafeBench/ 。