AtomicRL：面向长程机器人操作的原子强化学习
论文提出 AtomicRL，一个面向 VLA 策略的强化学习后训练框架，用原子任务结构做信用分配与自适应探索：语义感知策略优化（SAPO）用语义门控阻止失败原子子任务的 TD 残差跨任务边界传播，瓶颈自适应目标探索（BATE）按各原子子任务掌握度动态调整任务采样与局部探索激励。配套 Real2Sim2Real 流水线衔接仿真在线 RL 与真机部署。在 LIBERO-LONG 上，两种 VLA 架构相对 PPO 绝对提升 3.6% 和 4.0%；CALVIN ABC-D 全任务性能最高提升 9.5%；结合真机流水线后真实任务性能平均提升 21.3%。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation》查看原链
arXiv:2610.30097v1 公告类型：新论文 摘要：视觉-语言-动作（VLA）模型在机器人操作中展现出潜力，但仅靠模仿学习（IL）往往难以掌握复杂的长程技能。 强化学习（RL）为进一步改进 VLA 策略提供了有效途径。 然而，现有 VLA-RL 方法通常因轨迹级稀疏奖励而面临信用分配延迟和有偏的问题，同时子任务掌握程度不均衡会造成瓶颈，限制整体性能。
为解决这些挑战，我们提出 AtomicRL，一个利用原子任务结构实现可靠信用分配和自适应探索的 RL 后训练框架。 AtomicRL 引入语义感知策略优化（SAPO），利用语义感知门控限制失败原子子任务的 TD 残差跨任务边界传播，在保留子任务内信用分配和价值自举的同时减轻信用污染。
此外，瓶颈自适应目标探索（BATE）根据各原子子任务的掌握程度动态协调任务采样和局部探索激励，将学习导向剩余瓶颈。 最后，我们开发了 Real2Sim2Real 流水线，将仿真中的在线 RL 与真实世界部署衔接，促进向物理机器人的实际迁移。
在 LIBERO-LONG 上，AtomicRL 在两种 VLA 架构上相较 PPO 分别取得 3.6% 和 4.0% 的绝对性能提升。 在 CALVIN ABC-D 上，其全任务性能相较 PPO 最高提升 9.5%。 结合 Real2Sim2Real 流水线，AtomicRL 进一步将真实世界任务性能平均提升 21.3%。
这些结果表明，AtomicRL 有效提升了 VLA 策略在长程任务上的学习效率和操作性能。