SceneBloom:面向具身学习的真实多样布局智能体化室内环境生成
SceneBloom 提出一种智能体框架,将视觉布局采样与契约引导的3D编译结合:分层采样器用扩散先验在功能区内生成家具布局,编译器再用从每个方案提取的关系引导几何拟合与局部位姿修正。在五类房间上,该方法视觉质量与物理稳定性均为对比方法中最高,且是唯一未检测到网格碰撞与越界物体的方法,布局分布也更接近真实房间。在这些场景中训练的物体导航策略,在留出的真实扫描上成功率高于用同等数量真实训练扫描训练的策略。代码已开源。
发布于 10-27 10:54来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《SceneBloom: Agentic Indoor Environment Generation with Realistic and Diverse Layouts for Embodied Learning》查看原链
训练具备泛化能力的具身智能体需要真实、多样且可直接用于仿真的室内环境。 语言引导方法支持语义规划与物体级推理,但精确的空间落地仍然困难。 视觉生成模型能提供关于合理布局的丰富先验,但其输出需要几何推理才能成为物理有效的3D场景。 我们提出SceneBloom,一个将视觉布局采样与契约引导的3D编译相结合的智能体框架。
分层采样器利用扩散先验在功能区内生成家具布局。 随后编译器利用从每个方案中提取的关系来引导几何拟合与局部位姿修正。 在五类房间上,SceneBloom在对比方法中取得最高的视觉质量与物理稳定性,并且是唯一未检测到网格碰撞与越界物体的方法。 其布局也比所有对比基线更接近真实房间的分布。
在这些真实场景中训练的物体导航策略,在留出的真实扫描上取得的成功率高于在同等数量真实训练扫描上训练的策略。 代码见 https://github.com/Tinaliu0123/scenebloom。
