一句话能修复什么？冻结VLA策略的失败分类与最小语言纠正
研究对OpenVLA-OFT和pi0.5在分布外LIBERO-90任务上的失败进行标注，将其归为四种模式，仅「执行失准」（到达正确目标但移动距离或力度校准错误）可由一句话纠正覆盖。方法为每任务一句回顾性描述，经LLM解析为动作维度、方向、幅度项与时间窗口，作为短时偏置施加于冻结策略动作。仿真中恢复139个分布内失败中的65个、328个分布外失败中的33个；真实xArm7基座移动后，同物体抓取放置从10/30升至30/30，新物体从2/30升至24/30，两个长时程任务仍为0/30。朴素提示的VLM最多10次尝试均未恢复。
发布于 10-27 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《What Can One Sentence Fix? A Failure Taxonomy and a Minimal Language Correction for Frozen VLA Policies》查看原链
当已部署的视觉-语言-动作（VLA）策略失败时，为每个新场景重新微调代价高昂，而观察它的人通常能用一句话说出问题所在。 我们研究这样一句话在冻结策略中能修复什么、不能修复什么。 我们对OpenVLA-OFT和pi0.5的每个失败LIBERO-90任务（分布外）进行标注，发现失败可分为四种模式，其中只有一种——执行失准，即策略到达了正确目标但移动距离或力度校准错误——在一句话的修复能力范围内；其余三种缺少的是目标或计划，而非幅度。
针对这一模式，我们定义了最窄的人工纠正：每个任务一句回顾性描述，由LLM将其落地为动作维度、方向、幅度项和时间窗口，转化为对冻结策略动作的短时偏置，之后策略自行完成剩余部分，逐回合执行。 在其任务的失败轨迹上重新执行，仿真中恢复了全部139个分布内失败中的65个和全部328个分布外失败中的33个；在真实xArm7上，机器人基座移动后，两个同物体条件下抓取放置从10/30提升到30/30，新物体条件下从2/30提升到24/30，而两个长时程任务在有纠正和无纠正时均保持0/30，与分类预测一致。
一个朴素提示的VLM观看相同失败并写出同类纠正，在最多10次尝试中一个都未恢复，表明价值在于人对幅度和时机的校准感知，而非语言本身。