跳到主要内容
Evolvant
订阅

流控制:用简单实时输入引导视觉-语言-动作模型

arXiv:2606.10180v2 提出对视觉-语言-动作(VLA)模型的“流控制”方法:将键盘等通用用户输入写入VLA流匹配动作专家的初始条件,利用流的确定性在积分过程中保留用户输入信息,无需重新训练或微调即可实时引导动作。作者报告该方法能准确响应地引导机器人动作、对次优输入鲁棒、帮助用户显著提高成功率并加快任务完成,且在流控制轨迹上微调可改进自主策略。

发布于 10-22 10:56来源:arXiv cs.RO

转载 · 官方发布原文:arXiv cs.RO ·《Flow Control: Steering Vision-Language-Action Models with Simple Real-Time Inputs》查看原链

我们提出视觉-语言-动作(VLA)模型的流控制方法,通过键盘等通用输入实时引导VLA动作。 该方法开箱即用,无需重新训练或微调VLA。 它能让相对粗糙的用户输入引导VLA对齐用户意图。 流控制将用户输入写入VLA流匹配动作专家的初始条件。 由于流是确定性的,积分过程在将输入推向训练中学到的动作分布时保留用户输入信息,使生成动作既反映用户意图(高保真)又贴近VLA自身未引导动作(高一致性)。

我们证明流控制具有多项理想特性:(1) 能准确、响应迅速地用用户输入引导机器人动作;(2) 对次优用户输入具有鲁棒性;(3) 能让用户引导VLA显著提高成功率并加快任务完成;(4) 在流控制轨迹上微调VLA可改进自主策略。 这些结果为用户提供了一种简单直观的方式来帮助引导VLA动作,提升任务表现。

项目页面与视频:https://jcykao.github.io/flowcontrol/。

来源arXiv cs.ROen原文发布 10-21访问原文