预训练知其然，仿真教其所以然：仿真训练的机器人智能体的组合泛化
研究团队提出零真实数据智能体策略 ZAP：以预训练 27B 参数视觉语言模型为基座，经监督微调与 GRPO 在简单仿真任务上训练，训练全程不使用真实机器人数据。在真实世界任务上成功率达 96.7%，与 GPT-6 Astra 持平，高于 MolmoAct2 VLA 的 33.3%，运行速度快 3 倍、成本低 17 倍。ZAP 可泛化到训练数据中未出现的物体、目标与操作，包括试管入架并按要求换孔、双臂空中传试管、井字棋画 X 与下国际象棋；迁移到单臂 Franka 后在 RoboLab-120 上达 55.9%，领先最佳 VLA/WAM 基线 4.9 个百分点。
发布于 10-27 12:58来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Pretraining Knows What, Simulation Teaches How: Compositional Generalization in a Sim-Trained Robot Agent》查看原链
arXiv:2610.35817v1 公告类型：新论文 摘要：机器人策略需要理解场景中任务要求什么，以及如何移动机器人来完成该任务。 为实现这两项能力，我们提出零真实数据智能体策略（Zero-real Agent Policy，ZAP），这是一套通过简单工具框架教会一个现成小型视觉语言模型控制机器人的方法。
我们使用一个预训练的 27B 参数模型来引导世界理解与推理，随后在简单仿真任务上进行监督微调和 GRPO，以教会它如何移动机器人。 训练期间不使用任何真实世界机器人数据，ZAP 在真实世界任务上达到 96.7% 的成功率，在我们的框架中与 GPT-6 Astra 持平，并优于 MolmoAct2 VLA（33.3%），同时运行速度比 GPT-6 Astra 快 3 倍、成本低 17 倍。
我们证明 ZAP 还能泛化到全新的物体、目标、策略和语言：将试管放入试管架（并在提示时选择试管架上的不同孔位）、在空中双臂间传递试管、在井字棋盘上画 X，以及下国际象棋。 这些目标和操作类型均未出现在我们的训练数据中。 此外，ZAP 还能迁移到未见过的本体。
在单臂 Franka 上，ZAP 在 RoboLab-120 上达到 55.9%，领先最佳 VLA/WAM 基线 4.9 个百分点。