DEFLECT：面向延迟鲁棒异步VLA的时序反事实偏好学习
该论文提出DEFLECT离线后训练框架，利用录制轨迹中执行时刻观测与预测时刻观测的时序对比构建偏好监督，解决异步VLA推理中动作块与执行时刻状态错配的问题。在Kinetix、LIBERO及三个真实机器人任务上测试，最长支持延迟下Kinetix成功率较VLASH提升4.2个百分点，LIBERO上较使用GR00T N1.7的朴素异步执行提升22.7个百分点。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《DEFLECT: Temporal Counterfactual Preference Learning for Delay-Robust Asynchronous VLAs》查看原链
视觉-语言-动作（VLA）策略越来越依赖异步推理，将模型延迟隐藏在机器人持续运动的过程中。 推理时，机器人继续执行当前动作块，同时基于推理开始时获取的观测生成下一个动作块。 等到新动作块被执行时，机器人或场景可能已经发生变化，因此适配预测时刻状态的动作可能与执行时刻的状态不匹配。
训练期方法根据预期执行延迟修改策略输入或监督目标，但没有直接监督动作应如何随场景在预测与执行之间的演变而变化。 运行时修复方法改善动作块连续性或在部署期间修改动作，但仍可能使动作对齐预测时刻状态而非执行时刻状态。 我们的关键洞察是：执行时刻的观测在在线预测时不可得，但在离线训练的录制轨迹中可得，这使得预测-执行不匹配在训练期间可被观测。
我们提出DEFLECT，一个离线后训练框架，将这种时序对比转化为偏好监督，用于从陈旧输入行动的策略。 在Kinetix、LIBERO和三个真实机器人任务上，DEFLECT在所评估的VLA策略与设置中提升了延迟鲁棒性。 在支持的最长延迟下，其在Kinetix上相比VLASH将成功率提升4.2个百分点，在LIBERO上相比使用GR00T N1.7的朴素异步执行提升22.7个百分点。