VLA 知道自己会失败吗？物理 AI 系统中可解释的成功与失败模式
研究团队发现 OpenVLA 激活的稀疏自编码器（SAE）表征含有可预测任务结果的信息，能在机器人进入不可恢复状态前预测失败。他们识别出强激活与成功或失败特定阶段对应的单个 SAE 特征，并通过定位特征激活显著变化的时间区间归纳出反复出现的行为模式。团队还构建基于 VLM 的解释流程为这些模式生成行为描述，并在留出区间上验证描述与特征激活的对应关系。
发布于 10-27 10:53来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Do VLAs Know They Will Fail? Interpretable Success and Failure Patterns in Physical AI Systems》查看原链
视觉-语言-动作（VLA）模型已成为强大的通用机器人策略，但其成功与失败仍难以诊断和理解。 本工作表明，OpenVLA 激活的稀疏自编码器（SAE）表征包含可预测结果的信息，可用于在机器人进入不可恢复状态之前预测任务失败。 此外，为揭示哪些常见行为可能导致这些结果，我们识别出强激活与成功或失败特定阶段相关的单个 SAE 特征，并通过定位这些特征出现显著激活变化的时间区间，发现反复出现的行为模式。
我们进一步开发了基于 VLM 的解释流程，为这些模式生成行为描述，并在留出区间上验证其与特征激活的对应关系。