一次不成便回溯:冻结VLA的轻量级恢复机制
研究提出Backtrack,一种面向冻结VLA的失败检测与恢复机制:仅用带结果标签的轨迹训练一个小型失败预测头,读取VLA内部表示预测当前回合是否会失败,参数量仅增加0.48-0.88%。预测失败概率超阈值时,控制器暂停策略、回溯机械臂最近运动,再交回原策略从较早构型重试。在LIBERO-Long上,SmolVLA、π0.5、π0-FAST三个策略失败率降低19-48%,成功率最多提升7.4个百分点;MetaWorld上SmolVLA的十二种控制器配置全部优于无辅助策略。
发布于 10-27 10:54来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《If at First You Don't Succeed, Backtrack: Lightweight Recovery for Frozen VLAs》查看原链
视觉-语言-动作(VLA)模型在机器人操作任务上表现良好,但一旦自身动作将其带入训练数据几乎未覆盖的状态,就会变得脆弱。 从此类失败中恢复通常需要恢复演示、策略重训练或推理时的独立模型。 我们提出Backtrack,一种面向冻结VLA的轻量级失败检测与恢复机制,无需上述任何一项。
一个小的失败预测头仅用冻结策略带结果标签的轨迹训练,读取VLA已有的内部表示来估计当前回合是否会失败。 当预测的失败概率超过阈值时,控制器暂停策略,回溯机械臂最近完成的运动,并将控制权交还未经改动的策略,使其能从较早的构型重试。 该预测头仅使策略参数量增加0.48-0.88%。
我们在LIBERO上评估Backtrack,使用三个VLA,涵盖两个动作生成家族:采用流匹配动作专家的SmolVLA和π0.5,以及自回归的π0-FAST。 在LIBERO-Long(长时程多步任务套件,也是三个策略失败最频繁的套件)上,Backtrack将各策略失败率降低19-48%,成功率最多提升7.4个百分点;在三个较短套件上(控制成功率已达85-99%),效果较小。
在MetaWorld上,使用SmolVLA测试的全部十二种控制器配置均优于无辅助策略。
