PanoGraphGS：用高斯泼溅统一全景分割与分层3D场景图
该研究提出PanoGraphGS框架，在共享高斯几何上联合学习语义与实例特征，通过基于原型的语义学习和基于关联的实例学习实现跨视角一致的全景预测，并支持新视角全景分割与高斯级全景解码；语义感知场景图模块可恢复楼层-房间-背景物-物体的层级及包含与空间关系。团队同时发布真实世界全景场景理解数据集NaviGS，含3DGS、网格、RGB、语义与深度数据。在Replica和NaviGS上，其物体节点准确率平均超过最强基线50个百分点以上，2D全景分割亦为所评估方法中最优。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《PanoGraphGS: Unifying Panoptic Segmentation and Hierarchical 3D Scene Graphs with Gaussian Splatting》查看原链
3D场景图通过将物理实体及其包含与空间关系组织为分层地图，支持语言引导导航。 构建此类结构化地图需要一种能在不同视角下一致区分语义区域与物体实例的场景表示。 为此，我们提出PanoGraphGS，一个将全景3D高斯表示学习与分层3D场景图构建相统一的框架。
该框架在共享高斯几何上学习语义与实例特征。 基于原型的语义学习和基于关联的实例学习可在不同视角下产生一致的全景预测。 所学表示支持新视角全景分割和直接的高斯级全景解码。 一个语义感知场景图模块进一步恢复出包含楼层-房间-背景物-物体层级及包含与空间关系。
我们还发布了NaviGS，一个用于全景场景理解的真实世界数据集，提供3DGS、网格、RGB、语义与深度数据。 在3D场景图识别任务上，PanoGraphGS在Replica和NaviGS上平均物体节点准确率超过最强评估基线50个百分点以上。
PanoGraphGS在2D全景分割上也取得所评估方法中的最优性能。 这些结果证明了PanoGraphGS在分层3D场景理解与2D全景分割两方面的有效性。 项目网站：https://github.com/gaojh0333/PanoGraphGS。