RoboDuo：通过代码为视觉-语言-动作模型实现尝试、检查与原子恢复
研究提出 RoboDuo 闭环双系统框架，以代码作为编码智能体与两个 VLA 之间的接口：智能体编写程序让全任务 VLA 尝试完整任务并检查是否完成，失败时由原子 VLA 完成剩余步骤；智能体不输出动作、只决定由哪个 VLA 执行，因此封装现有全任务 VLA 且不更新其权重。团队基于同一组 LIBERO 演示构建 LIBERO-Atomic、LIBERO-Code 和 LIBERO-Judge 用于训练。在 LIBERO 与 LIBERO-PRO 上，RoboDuo 持续提升 X-VLA 和 π0.5，长时程任务增益最大，并在真实机器人上恢复了冻结全任务 VLA 的失败 rollout。
发布于 10-27 12:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《RoboDuo: Attempt, Check and Atomic Recovery through Code for Vision-Language-Action Models》查看原链
摘要：视觉-语言-动作（VLA）模型将语言指令和当前观测直接映射为动作，而不检查指令是否已完成。 对于长时程任务，单个失败步骤因此不被察觉，导致整个任务未完成。 然而，这类失败回合往往以任务部分完成告终。 此外，未完成的步骤是可复用的原子技能，在演示中反复出现。
因此，一次失败的尝试可以通过组合原子技能来恢复。 我们提出 RoboDuo，一个闭环双系统框架，以代码作为编码智能体与两个 VLA 之间的接口。 该智能体编写程序，让全任务 VLA 尝试整个任务并检查是否完成；失败时，由原子 VLA 完成剩余步骤。
由于智能体不输出动作，只决定由哪个 VLA 执行，RoboDuo 封装现有的全任务 VLA 而无需更新其权重。 为训练原子 VLA 和具备完成检查能力的编码智能体，我们基于同一组 LIBERO 演示构建了 LIBERO-Atomic、LIBERO-Code 和 LIBERO-Judge。
RoboDuo 在 LIBERO 和 LIBERO-PRO 上持续提升 X-VLA 与 π0.5，在长时程任务上增益最大，并在真实机器人上恢复了冻结全任务 VLA 的失败 rollout。