感知、预测与规划：面向第一视角灵巧操作的统一世界动作模型
研究提出 P³-WAM 统一世界动作模型，面向第一视角灵巧操作，包含 Perceive（从视频重建关节手部运动与相机轨迹）、Predict（按给定动作生成视觉未来）、Plan（以初始图像、语言指令和可选视觉目标为条件，联合生成动作轨迹与预期视觉后果）三种模式。模型采用混合 Transformer 架构，将结构化三维动作表示接入预训练视频扩散 Transformer，共享基础权重并设模态特定适配与双向视觉-动作注意力，随机化模态可见性使视频与三维动作可作条件或预测目标。实验称统一训练在四项数据集的三维手部重建与动作条件视频预测上优于专用基线，生成的操作视频在指令遵循与动作推进上强于视频生成基线。
发布于 10-23 23:03来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation》查看原链
我们提出 P³-WAM，一个面向第一视角灵巧操作（egocentric dexterous manipulation）的统一世界动作模型，通过三种互补模式学习三维感知、动作条件预测与目标导向规划：Perceive 从视频中重建关节手部运动与相机轨迹；Predict 在给定动作下生成视觉未来；Plan 以初始图像、语言指令和可选视觉目标为条件，联合生成动作轨迹及其预期视觉后果。
该模型通过混合 Transformer 架构，将紧凑的结构化三维动作表示集成到预训练视频扩散 Transformer 中，共享基础权重、模态特定适配与双向视觉-动作注意力。 随机化模态可见性使视频与三维动作在三种模式下均可作为条件上下文或预测目标。
实验显示，统一训练在全部三项能力上优于单模式训练，包括在视觉语言模型评估下规划质量的提升；在四个数据集上，模型在三维手部重建与动作条件视频预测上优于专用基线，同时生成的目标导向操作视频在指令遵循与动作推进上强于视频生成基线。 项目页面：https://p3-wam.pages.dev/