GE-Act 2.0：面向机器人操作的世界-动作模型的预训练与规模化
GE-Act 2.0 是一个世界-动作模型，其生成组件与动作组件全部在操作数据上从零初始化，未继承预训练视频生成器。模型由面向控制的自编码器 CoAE、单步视觉规划器 SVP 和逆动力学模型 IDM 组成，先分别在互补数据上预训练，再用知识对齐的选择性优化 KASO 联合训练。在 20 个技能组共 100 个任务上直接评估预训练检查点、不做逐任务微调；联合训练数据从 300 小时扩至 30,000 小时，G1-OP 成功率由 17.1% 升至 44.1%，G2-90D 由 13.4% 升至 31.1%，后者数据占比不足 2% 仍提升 17.7 个百分点，提示跨具身迁移。
发布于 10-27 13:14来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation》查看原链
arXiv:2609.05588v3 公告类型：替换 摘要：世界-动作模型（WAM）通过预测未来状态来引导机器人动作，从而能够同时从无动作视频和带动作标注的交互数据中学习。 大多数此类模型继承预训练的视频生成器，导致 WAM 的预训练与规模化问题尚未得到充分探索。
我们提出 Genie Envisioner Act 2.0（GE-Act 2.0），这是一种世界-动作模型，其可训练的生成组件和动作组件全部在操作数据上从零初始化。 它结合了面向控制的自编码器（CoAE）、单步视觉规划器（SVP）和逆动力学模型（IDM）。
CoAE 在激进压缩下仍保留与动作和指令相关的信息，而 SVP 通过一次可微前向传播生成完整的未来状态，因此视觉规划和逆动力学可以分别在互补数据上预训练。 随后，各组件通过知识对齐的选择性优化（KASO）进行联合训练，该方法只选择那些被判定为在行为上与记录动作兼容的预测未来，从而减少不匹配的监督信号。
我们在 20 个操作技能组的 100 个任务上直接评估预训练检查点，不进行逐任务微调，测试场景、背景、光照和物体实例均为留出集。 将联合训练数据从 300 小时扩展到 30,000 小时，使 G1-OP 上的成功率从 17.1% 提升到 44.1%，G2-90D 上从 13.4% 提升到 31.1%；尽管 G2-90D 在联合训练数据中占比不足 2%，其成功率仍提升了 17.7 个百分点，这表明存在跨具身迁移。
性能提升覆盖 20 个技能组中的 19 个和 18 个，且技能特定覆盖率与零样本分布外（OOD）成功率强相关（Pearson r=0.80；Spearman rho=0.85）。 在相同协议下，该模型在至少 90% 的试验中能够正确关联物体、颜色、形状和位置指代，并且即使显式指令与已承诺的行为或常规场景关联相冲突，也能遵循这些指令。