Guardian：用视觉语言模型检测机器人规划与执行错误
研究团队提出自动生成机器人规划与执行故障的框架：对成功操作轨迹施加扰动，合成贴近真实分布的故障，并用视觉语言模型生成结构化逐步推理轨迹，构建出基于 RLBench 仿真器与 BridgeDataV2 真实机器人数据集的 GuardianFail-36k 故障推理数据集。基于该数据集训练的 Guardian 是面向统一规划与执行验证的多视角推理 VLM，在 RoboFail、RoboVQA 及新提出的 UR5-Fail 三个未见真实世界基准上取得最先进性能；与基于 LLM 的操作策略集成后，在仿真和真实部署中均持续提升任务成功率。代码、数据与模型已公开。
发布于 10-27 12:58来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models》查看原链
arXiv:2512.01946v5 公告类型：替换 摘要：稳健的机器人操作需要可靠的故障检测与恢复。 尽管近期的视觉语言模型（VLM）在机器人故障检测上展现出潜力，但其泛化能力因故障数据稀缺、覆盖范围窄而严重受限。 为解决这一瓶颈，我们提出一个自动框架，可在仿真与真实环境中生成多样化的机器人规划与执行故障。
该方法对成功的操作轨迹施加扰动，以合成反映真实故障分布的故障，并利用 VLM 生成结构化的逐步推理轨迹。 由此得到 GuardianFail-36k，这是一个基于 RLBench 仿真器和 BridgeDataV2 真实机器人数据集构建的大规模故障推理数据集。
使用 GuardianFail-36k，我们训练了 Guardian，一个用于统一规划与执行验证的多视角推理 VLM。 Guardian 在三个未见过的真实世界基准上取得最先进性能：RoboFail、RoboVQA 和我们新提出的 UR5-Fail。
当与最先进的基于 LLM 的操作策略集成时，它在仿真和真实部署中都能持续提升任务成功率。 这些结果表明，扩展高质量的故障推理数据对于提升机器人故障检测的泛化能力至关重要。 代码、数据和模型见 https://www.di.ens.fr/willow/research/guardian/。