去扩散世界-动作模型:面向机器人控制的动作充分直接预测
论文提出 DirectWAM,通过动作充分蒸馏把预训练的扩散视频专家与动作专家转为单步预测器,保留显式的未来到动作级联,无需随机采样;训练时从预测未来解码动作并将演示动作误差经专家反向传播,可选加入未来潜在重建损失。在四个 LIBERO 套件上平均成功率 97.1%,RoboTwin 2.0 上 85.4%,相同每流一次评估预算下优于 Flash-WAM,并扩展到三个真实世界任务;相比完整迭代教师模型推理延迟降低 28.0 倍。
发布于 10-22 10:55来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《De-Diffusing WAMs: Action-Sufficient Direct Prediction for Robot Control》查看原链
arXiv:2610.28122v1 公告类型:新论文 摘要:级联世界-动作模型(WAM)利用预测的视觉未来来约束机器人动作,但继承了扩散预训练专家模型代价高昂的迭代推理。 我们探究单步预测的未来必须保留什么,才能支持准确的单步动作预测。 在所评估的 WAM 中,重新采样视频噪声对下游动作影响很小,但简单地将两个流都截断为一步会显著降低任务成功率。
视频空间监督只能部分弥合这一差距,局部敏感性分析表明,视觉预测误差对动作精度的影响极不均衡。 这些发现促成了 DirectWAM,它通过动作充分蒸馏将预训练的视频和动作专家模型转换为单步预测器,无需随机采样,同时保留显式的未来到动作级联。 在学习一步动作模型后,我们通过从自身预测的未来中解码动作,并将演示动作误差通过专家模型反向传播来训练未来预测器,可选地加入未来潜在重建损失。
由此得到的目标通过下游控制后果来评估学生生成的未来,而非仅依赖表示匹配。 DirectWAM 在四个 LIBERO 套件上平均成功率达 97.1%,在 RoboTwin 2.0 上达 85.4%,在相同的每流一次评估预算下优于 Flash-WAM。
这一优势还扩展到了我们设计的三个真实世界任务。 与完整的迭代教师模型相比,它将推理延迟降低了 28.0 倍。
