PACT-VLA:基于提交前观测的推测性动作块验证
PACT-VLA 是一个无需训练的框架,用于解决 VLA 策略异步推理中动作块基于过时观测的问题:它从推理起始观测生成多个候选动作块,并利用提交前观测复用冻结的 VLA 策略进行选择,评分函数 FlowRes 衡量候选隐含流方向与策略预测速度的残差,无需额外验证器。流水线实现使选择不增加控制步延迟。在四步延迟下,Kinetix 上平均成功率比 RTC 高 15.0 个百分点,LIBERO 上比 GR00T N1.7 单候选异步执行高 5.2 个百分点;三个真实机器人任务上,使用同一冻结 π0.5 检查点,平均成功率从朴素异步执行的 60% 提升到 82%。
发布于 10-22 10:55来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《PACT-VLA: Speculative Action-Chunk Verification with Pre-Commit Observations》查看原链
arXiv:2610.28019v1 公告类型:新论文 摘要:视觉-语言-动作(VLA)策略在真实环境中通常采用异步推理部署,即机器人在执行上一个动作块的同时生成下一个动作块。 等到新动作块被提交时,机器人和场景已经发生变化,因此该动作块基于过时的观测,随着推理延迟增大,任务成功率急剧下降。
生成多个候选动作块可以让更新的观测参与最终选择,但现有多候选方法要么用推理起始时的过时观测对候选排序,要么在执行过程中反复切换候选,导致执行的动作序列不连续。 我们的关键洞察是:推理延迟可以被用作决策时间。 在候选生成仍在进行时,候选选择可以复用 VLA 本身,选出最符合更晚观测的完整动作块。
我们提出 PACT-VLA,一个无需训练的框架,它从推理起始观测生成候选,并利用这一提交前观测选择其中一个。 其评分函数 FlowRes 衡量每个候选所隐含的流方向与冻结策略在提交前观测下预测的速度之间的残差,无需单独的验证器。 流水线实现将观测处理与候选生成重叠,并对评分进行批处理,因此在所评估的硬件上,选择不会增加控制步延迟。
在四步延迟下,PACT-VLA 在 Kinetix 上比 RTC 平均成功率提升 15.0 个百分点,在 LIBERO 上比使用 GR00T N1.7 的单候选异步执行提升 5.2 个百分点,并进一步改进现有的延迟鲁棒方法。 在三个真实机器人任务上,它使用相同的冻结 π0.5 检查点,将平均成功率从朴素异步执行的 60% 提升到 82%。
