AOV-GS：基于3D高斯泼溅的主动开放词汇语义建图
AOV-GS是一个主动3D高斯建图系统，用冻结的SAM和CLIP基础模型引导探索：粗探索阶段按SAM实例分割算出的CLIP掩码嵌入新颖度对候选视角重排序，使探索偏向语义信息丰富区域；场景特定语言场离线直接拟合采集到的CLIP嵌入而非人工标注掩码，支持新视角开放词汇文本查询分割。在相同SAM-CLIP感知栈下，语言场平均mIoU在Replica八个场景达34.6%，比仅几何主动规划高1.3个百分点；Matterport3D五个场景达23.1%，高1.8个百分点；配合CorrCLIP在Replica达35.6%，高2.0个百分点。新视角PSNR与基线相当，Replica深度L1改善。代码已开源。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《AOV-GS: Active Open-Vocabulary Semantic Mapping with 3D Gaussian Splatting》查看原链
arXiv:2610.29374v1 公告类型：交叉 摘要：部署在以人为本环境中的机器人需要同时支持几何导航和超出固定标签集的开放词汇语义查询的地图。 一个关键挑战是在不依赖人工标注分割掩码或闭集语义类别的情况下，为这类地图补充语义信息。 现有的几何驱动主动建图最大化覆盖范围，但将语义视为采集轨迹的被动副产品，而主动语义建图通常依赖有监督语义分割。
我们提出AOV-GS，一个使用冻结基础模型引导探索的主动3D高斯建图系统。 在粗探索阶段，AOV-GS根据由SAM实例分割计算出的CLIP掩码嵌入新颖度，对几何上有前景的候选视角重新排序，使探索偏向语义信息丰富的区域。 冻结的SAM和CLIP在整个建图过程中提供实例掩码和语言对齐嵌入，而一个轻量级的场景特定语言场直接离线拟合到采集的CLIP嵌入上，而非人工标注掩码，从而在新视角上实现开放词汇文本查询分割。
在使用相同SAM-CLIP感知栈的受控对比中，AOV-GS在Replica上（八个场景34.6%）将平均语言场mIoU较仅几何主动规划提升1.3个百分点，在Matterport3D上（五个场景23.1%）提升1.8个百分点。 使用CorrCLIP时，AOV-GS在Replica上达到35.6%，比匹配的基于几何+CorrCLIP基线高2.0个百分点。
两个数据集上的新视角PSNR与仅几何基线相当，而Replica上的深度L1有所改善。 代码见https://github.com/OptimusFaber/AOV-GS。