RoboCasa-Shift：长时程家庭操作中视觉-语言-动作策略的阶段感知鲁棒性评估
研究团队提出 RoboCasa-Shift，一个基于 RoboCasa365 的诊断性鲁棒性基准，采用受控单因素偏移、共享底层设置的干净-扰动配对 rollout 和仿真器阶段感知诊断。在四个长时程家庭操作任务、四种扰动因素与三个校准严重度下评估 GR00T N1.5，共完成 1,040 次正式 rollout。结果显示鲁棒性响应随因素和任务差异显著，严重度提升不总带来单调退化：某相机条件下 80 个配对回合中 8 个结果改变但 ΔSR=0；相机 L2 与高斯模糊 L1 的 ΔSR 同为 0.188，第一阶段失败率却分别为 19.0% 和 36.4%。代码已开源。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《RoboCasa-Shift: Stage-Aware Robustness Evaluation of Vision-Language-Action Policies in Long-Horizon Household Manipulation》查看原链
视觉-语言-动作（VLA）的鲁棒性通常用总体任务成功率来概括，这会掩盖单次执行在分布偏移下如何变化，以及长时程任务中失败在何处出现。 我们提出 RoboCasa-Shift，这是一个基于 RoboCasa365 构建的诊断性鲁棒性基准，结合了受控单因素偏移、匹配的干净-扰动 rollout（每对共享相同底层设置，仅目标偏移不同）以及基于仿真器的阶段感知诊断。
我们在四个长时程任务上评估 GR00T N1.5，这些任务在四种扰动因素和三个校准严重度等级下通过预定义的干净性能门槛，包括使被评估策略完全任务失败的条件，共 1,040 次正式 rollout。 鲁棒性响应在不同因素和任务间差异显著，且严重度增加并不总是产生单调退化。
例如，一个相机条件在 80 个匹配回合中有 8 个结果改变，但 ΔSR=0。 阶段感知分析进一步表明，相同的端到端退化可对应不同的执行深度剖面。 相机 L2 和高斯模糊 L1 均产生 ΔSR=0.188，但其第一阶段失败率分别为 19.0% 和 36.4%。
我们的发现表明，VLA 鲁棒性应被视为执行的多维属性，而非单一的端到端性能指标，这推动评估协议同时捕捉结果退化、配对结果敏感性和失败进展。 代码已公开于 https://github.com/HaochengWang23/RoboCasa-Shift。