UniFlowWAM：融合视觉语义与4D几何的统一世界-动作模型
UniFlowWAM将3D场景流作为与视觉、动作并列的第三模态纳入扩散Transformer策略，每个模态设一个专家并通过联合注意力交互，在十目标角色网格下训练，使同一模型可充当策略、前向/逆向动力学及未来视觉特征或3D流预测器。仿真实验中，RoboCasa-GR1成功率由无流基座的52.1%升至56.4%，LIBERO分布内保持98.1%，LIBERO-Plus零样本达87.7%；四个真实双臂操作任务平均成功率87.0%，最强基线为68.5%。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《UniFlowWAM: A Unified World-Action Model with Visual Semantics and 4D Geometry》查看原链
机器人演示记录了机器人看到什么、做了什么，却没有说明其间3D世界如何变化。 场景级3D流通过跟踪3D场景点来描述这一变化，为世界表示提供4D几何信息。 已有工作利用流来改进机器人策略：流或作为中间预测由单独模型转换为动作，或作为推理时注入的先验，或作为与动作一起学习的额外输出。
在这些设计中，流始终位于策略之外，作为独立模块或额外预测头。 我们提出UniFlowWAM，一种统一世界-动作模型，将3D场景流提升为与视觉、动作并列的第三模态。 其世界表示因此同时涵盖视觉语义（通过未来视觉特征）与4D几何（通过3D流），且流获得独立监督。
UniFlowWAM是扩散Transformer，每个模态一个专家，三个专家通过联合注意力交换信息。 我们在十目标角色网格下训练UniFlowWAM，每个目标为每个模态分配目标、条件或缺失三种角色之一。 同一模型因此可充当策略、前向与逆向动力学，以及未来视觉特征或3D流的预测器。
我们在仿真中的RoboCasa-GR1、LIBERO和LIBERO-Plus，以及四个真实世界双臂操作任务上评估UniFlowWAM。 在RoboCasa-GR1上，UniFlowWAM将无流基座模型的成功率从52.1%提升至56.4%；在LIBERO上保持分布内成功率98.1%，在LIBERO-Plus上零样本达到87.7%；在真实机器人上平均成功率为87.0%，最强基线为68.5%。