面向世界动作模型的关系几何强制方法
针对世界动作模型（WAM）的视频与动作目标未显式约束三维几何、而逐点对齐三维基础模型特征又会过度约束紧凑动作特征的问题，论文提出关系几何强制（RGF）：从冻结的三维基础模型迁移几何先验，对齐成对特征关系而非逐点特征。RGF 包含帧内、跨视角、动作-时间三个互补关系目标，仅在训练阶段使用，无需显式几何分支或额外推理模块。仿真与真实世界实验显示，在多种操作场景和 WAM 范式下均取得一致增益。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Relational Geometry Forcing for World Action Models》查看原链
世界动作模型（WAMs）通过联合学习视觉动态与可执行动作，在机器人操作任务上展现出较强潜力。 然而，其视频目标与动作目标并未显式约束对精细操作至关重要的三维几何。 近期，几何感知 WAM 引入深度或四维预测分支，而表征对齐方法则用预训练三维基础模型监督 WAM 的中间特征。
但我们发现，这种逐点对齐虽有利于视频特征，却会损害动作学习，因为稠密几何特征目标会过度约束紧凑的动作特征。 为解决这一局限，我们提出关系几何强制（RGF），它通过对齐成对特征关系而非逐点特征，从冻结的三维基础模型迁移几何先验。 具体而言，RGF 施加三个互补的关系目标：帧内关系与跨视角关系将场景几何和多视角对应关系迁移到视频特征，动作-时间关系则将动作动态与几何场景演化耦合。
RGF 仅在训练时使用，无需显式几何分支或额外推理模块。 仿真与真实世界的大量实验证明了关系几何强制的有效性，在多种操作场景和 WAM 范式下均取得一致增益。