跳到主要内容
Evolvant
订阅

NestedVLA:学习整合与生成视觉-语言-动作模型的技能

研究提出 NestedVLA,可在不访问原始训练数据的情况下整合多个独立微调的 VLA 策略:嵌入 VLA 的超网络为选定任务生成动作专家权重更新,每个任务的压缩视觉-语言模型更新单独存储,两类更新叠加到冻结的基础 VLA 上实例化对应策略。在 MetaWorld、ManiSkill、CALVIN 上用强化学习微调的三个策略上评估,平均成功率 66.7%,比最强模型合并基线高 41.1 个百分点;在 ManiSkill 上与逐任务微调差距在 1 个百分点内,在 CALVIN 上明显缩小差距;三策略设置下总存储为单个完整检查点的 1.5 倍。代码已开源于 GitHub。

发布于 10-22 10:57来源:arXiv cs.RO

转载 · 官方发布原文:arXiv cs.RO ·《NestedVLA: Learning to Consolidate and Generate Skills for Vision-Language-Action Models》查看原链

NestedVLA:学习整合与生成视觉-语言-动作模型的技能

来源arXiv cs.ROen原文发布 10-21访问原文