面向世界动作模型的自蒸馏未来视频表征
论文提出 FRED 框架，通过自蒸馏让世界动作模型（WAM）在单步去噪中从噪声预测未来视频表征，并以真实未来观测提取的表征为目标，同时以历史观测作为时间上下文条件。在多种真实世界操作场景中，FRED 持续优于同类 WAM，在零样本环境泛化的长时程与域外任务上提升明显；在仅有人类视频演示、无机器人训练数据的任务上成功率达 50.0%，最佳对比方法为 19.4%。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Self-Distilling Future Video Representations for World Action Models》查看原链
arXiv:2610.30320v1 公告类型：新论文 摘要：世界动作模型（WAMs）已成为一种有前景的方法，它利用预训练视频扩散模型提供的丰富时空先验来学习通用机器人策略。 近期一类 WAMs 通过让独立的动作解码器以单步去噪提取的中间未来视频表征为条件，提升了推理效率，从而避免了视频生成所需的昂贵迭代去噪。
这种设计使动作预测直接依赖于这些未来表征的质量。 本文提出了 FRED（Future REpresentation learning via self-Distillation with temporal context，带时间上下文的自蒸馏未来表征学习）框架，用于训练 WAMs 在单步去噪中从噪声提升未来视频表征的质量。
具体而言，FRED 使用自蒸馏从噪声预测未来表征，并以从真实未来观测中提取的表征作为目标。 我们进一步让视频模型以历史观测为条件，为更好地预测未来表征提供时间上下文。 在多种真实世界操作场景中，FRED 持续优于同类 WAMs。 在零样本环境泛化下的长时程和域外任务上，它取得了尤其显著的提升，并大幅改善了从人到机器人的技能迁移：在机器人训练数据中不存在、仅在人类视频中演示过的任务上，任务成功率达到 50.0%，而最佳同类 WAM 为 19.4%。