看见所需，想象所欲：构建于自建表征空间的导航基础模型
研究提出导航基础模型 RepresentNav，用三层 transformer（Representation Residuals）对多个视觉基础模型全深度特征做注意力，构建由策略目标驱动的自建表征空间，并在动作前用潜在思维链预测下一时刻场景表征，以 JEPA 架构端到端训练。在 VLNVerse 细粒度任务上成功率达 83.80%，较此前最优高 20.05 个百分点；EVT-Bench 干扰物跟踪单相机达 85.5%（+10.1）；相同编码器下自建空间优于拼接输出，想象使碰撞减少四分之一。单个潜在表征可解码未来场景的深度、语义与三维占据，占据无监督仍优于预训练编码器作用于真实未来帧。
发布于 10-27 10:53来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《See What I Need, Dream What I Want: A Navigation Foundation Model on a Self-Constructed Representation Space》查看原链
导航策略应当基于什么样的视觉表征来行动？ 基于视觉基础模型的导航策略大多把表征设计交给编码器的预训练目标。 我们提出 RepresentNav，一个构建于自建表征空间之上的导航基础模型：该视觉表征由策略自身的目标从视觉基础模型中构建而来。 RepresentNav 用 Representation Residuals 构建这一空间，这是一个紧凑的三层 transformer，对来自多个互补视觉基础模型全深度范围的特征进行注意力计算，使策略学会看见导航所需的内容。
在同一空间中，它想象自己想要的内容：在每个动作之前，一个潜在思维链预测片刻之后场景的表征。 该想象以联合嵌入预测架构（JEPA）与策略端到端训练，使用下一表征预测损失以及对其目标的正则项。 RepresentNav 在 VLNVerse、VLN-CE R2R、EVT-Bench 以及两个点目标基准上取得新的最优结果，其增益在杂乱且有人群移动的真实机器人上同样成立。
在 VLNVerse 细粒度任务上，RepresentNav 达到 83.80% 成功率，比此前最优结果高出 20.05 个百分点；在 EVT-Bench 干扰物跟踪任务上，单相机达到 85.5%（+10.1）。 在相同编码器下，自建空间明显优于直接拼接其输出，并学会对各层进行不均衡加权，其中的想象使碰撞减少四分之一。
单个想象出的潜在表征可解码出片刻之后场景的深度、语义与三维占据，且比预训练编码器作用于真实未来帧更准确，尽管占据从未被监督；其推演还能跟踪机器人自身未来一秒的运动：该想象由此呈现为一个紧凑的潜在世界模型。