超越外观变化：面向VLA模型的任务语义动作校准
研究提出BAS-VLA任务语义动作校准框架，构建于冻结的基础VLA模型之上，默认采用以语义破坏为中心的校准核心，并辅以选择性证据门控的保持辅助模块，用于纠正外观变化引起的动作漂移。在四个目标物体替换任务上，变化任务成功率从2.3%提升至68.5%；在经验证的外观保持变化上，成功率从42%提升至70%，且干净性能未下降。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Beyond Appearance Shifts: Task-Semantic Action Calibration for VLA Models》查看原链
视觉-语言-动作（VLA）模型在具身操作中已取得良好表现，但仍难以区分哪些变化应保持行为不变、哪些变化需要采取不同动作。 我们识别出两类互补的失败模式。 在任务保持型变化下，任务语义不变但场景外观改变（如风格、光照、杂乱度或换述），策略常出现不必要的动作漂移。
相反，在语义破坏型变化下，目标物体或约束等关键任务语义被改变，策略却常继续沿原轨迹执行而不适应新任务。 为解决这些失败，我们提出BAS-VLA，一个构建于冻结基础VLA之上的任务语义动作校准框架。 BAS-VLA默认采用以破坏为中心的校准核心路径，并辅以选择性证据门控的保持辅助模块，在任务保持证据强时纠正外观引起的漂移。
在四个目标物体替换任务上，BAS-VLA将变化任务成功率从2.3%提升至68.5%，同时保持较强的干净与语义保持性能并抑制过时行为。 在经验证的外观保持变化上，成功率进一步从42%提升至70%，且不降低干净性能。 这些结果说明，校准VLA策略使其在任务语义保持时稳定、在任务语义改变时适应具有重要意义。