超越模仿：基于强化学习的VLA模型仿真-真实协同训练
论文提出RL-Co框架：先在真实与仿真演示混合数据上做SFT热启动，再在仿真中用强化学习微调，并加入真实数据辅助监督损失以缓解灾难性遗忘。在四个真实桌面操作任务上，用OpenVLA和π0.5两种VLA架构测试，真实世界成功率分别提升24%和20%，优于仅真实微调与基于SFT的协同训练，对未见任务变体泛化更强、真实数据效率更高。
发布于 10-23 23:02来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Beyond Imitation: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models》查看原链
标题：超越模仿：基于强化学习的VLA模型仿真-真实协同训练 摘要：仿真为丰富视觉-语言-动作（VLA）训练提供了一种可扩展且低成本的方式，减少了对昂贵真实机器人演示的依赖。 然而，大多数仿真-真实协同训练方法依赖监督微调（SFT），将仿真视为静态演示来源，未利用大规模闭环交互，因此真实世界收益与泛化能力往往有限。
本文提出基于强化学习的仿真-真实协同训练（RL-Co）框架，在保留真实世界能力的同时利用交互式仿真。 方法采用通用的两阶段设计：首先在真实与仿真演示混合数据上以SFT热启动策略，然后在仿真中用强化学习微调，同时加入真实数据上的辅助监督损失以锚定策略并缓解灾难性遗忘。
我们在四个真实桌面操作任务上使用两种代表性VLA架构OpenVLA和π0.5评估该框架，观察到相比仅真实微调和基于SFT的协同训练有一致提升，包括OpenVLA真实世界成功率+24%、π0.5+20%。 除更高成功率外，RL协同训练对未见任务变体具有更强泛化能力，并显著提升真实数据效率，为利用仿真增强真实机器人部署提供了实用且可扩展的路径。