移除该损坏会带来什么改变？面向视觉-语言-动作模型的失败归因
研究提出“失败归因”问题：判断 VLA 模型中哪些视觉损坏对当前回合的失败风险有贡献、移除后能带来多大收益。方法为因子化风险模型，分别学习场景与损坏表示，通过潜在干预从当前图像和任务指令估计移除收益，无需成对干净图像或额外反事实 rollout。在仿真中对 OpenVLA 和 π0.5、在 Franka 机器人上对 π0.5-DROID 评估，归因误差约为前沿 VLM 的 1/3，并可用于硬件在线失败监测。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《What Would Removing This Corruption Change? Failure Attribution for Vision-Language-Action Models》查看原链
视觉-语言-动作（VLA）模型对视觉损坏敏感，但知道某种损坏通常有害，并不能确定移除它是否会让当前回合受益。 当多种损坏同时出现时，要决定纠正哪些，就需要理解哪些损坏会贡献失败风险，以及移除它们能带来多大帮助。 我们将这一问题定义为失败归因。
仅检测损坏是否存在无法回答该问题，因为损坏可能存在但相对无害；而直接测量移除收益，则需要在有损坏和无损坏两种条件下进行代价高昂的成对策略 rollout。 为此，我们引入一种因子化风险模型，分别学习场景和损坏的表示，从而能够通过从当前图像和任务指令出发的潜在干预来估计移除收益，无需成对干净图像或额外的反事实 rollout。
我们在仿真中对 OpenVLA 和 π0.5 进行评估，并在 Franka 机器人上对 π0.5-DROID 进行评估。 我们的方法优于整体式基线和视觉-语言模型（VLM）基线，其中归因误差约为前沿 VLM 的 1/3。 我们还证明，该方法能适应执行上下文和损坏强度，并可用于硬件上的在线失败监测。