视频预测策略 2：预测更好，行动更好
研究团队提出世界动作模型 VPP2，通过整理大规模多样化操作视频数据集，对基础视频模型进行事件级继续预训练，并将其蒸馏为固定预测时域的单步视觉规划器，再以混合 Transformer（MoT）架构接入动作模块学习隐式逆动力学。实验显示，VPP2-14B 在开放式任务视频预测指令遵循成功率上比 Cosmos3-64B 高 11.0 个百分点；在真实世界零样本 ALOHA 操作任务上比最强基线高 18.5 个百分点；经基准特定后训练后，在 LIBERO-Pro、LIBERO-OOD 与 RoboDojo 上取得所评估方法中的最高成功率。
发布于 10-27 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Video Prediction Policy 2: Predict Better, Act Better》查看原链
arXiv:2610.10270v4 公告类型：replace-cross 摘要：世界动作模型（WAM）已成为一类重要的通用机器人策略，旨在将视频预测先验迁移到动作学习中。 然而，我们发现现有 WAM 在开放环境中经常产生错误的运动预测，进而导致错误的动作。
我们将这一局限归因于两个因素：（1）基础视频模型并未针对操作任务进行优化；（2）将动作组件简单嵌入视频模型会显著削弱其泛化能力。 我们提出 Video Prediction Policy 2（VPP2），这是一种在视频预测与动作生成两方面均具备强零样本泛化能力的 WAM。
首先，我们整理了一个大规模、多样化的操作视频数据集，用于继续预训练基础视频模型。 我们为视频片段标注详细描述，并进行事件级视频预训练，以提升在开放式操作任务上的泛化能力。 其次，我们对视频模型进行后训练并将其蒸馏为具有固定预测时域的单步视觉规划器。
最后，我们通过混合 Transformer（MoT）架构引入动作模块，以学习隐式逆动力学模型。 实验展示了三项关键结果：（1）在开放式任务的视频预测指令遵循成功率上，VPP2-14B 比 Cosmos3-64B 高出 11.0 个百分点；（2）在真实世界零样本 ALOHA 操作任务的成功率上，VPP2 比最强基线高出 18.5 个百分点；（3）经过针对基准的后训练后，VPP2 在具有挑战性的 LIBERO-Pro、LIBERO-OOD 和 RoboDojo 基准上取得了所评估方法中最高的成功率。