SceneRig：从单张图像重建可直接用于仿真的三维场景的智能体系统
SceneRig 是一个智能体系统，可将单张图像转化为可编辑、可直接用于仿真的三维场景。它结合几何、视觉和物理工具重建三维场景，再由智能体在物理仿真器内执行编辑-验证循环，以实现物理稳定性。在多样化输入下，该系统改进了实例分割、以物体为中心的外观和三维放置，同时保持场景物理稳定；其场景比基线方法更准确地预测真实机器人策略结果，并更可靠地支持回放已记录的操作，而无需轨迹适配。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images》查看原链
仿真对机器人技术而言是强大工具，但大规模构建多样、可直接用于仿真的场景仍然困难。 从单张图像重建场景是一种有前景的替代方案，但仅靠视觉相似性并不足够：物体还必须被恢复、准确放置并具备物理基础。 依赖事后物理沉降的现有方法常常错误放置物体，产生看起来正确但在操作下表现不佳的场景。
我们提出 SceneRig，一个将单张图像转化为可编辑、可直接用于仿真的场景的智能体系统。 SceneRig 结合几何、视觉和物理工具来重建忠实的三维场景。 随后，一个智能体在物理仿真器内执行编辑-验证循环，以实现物理稳定性。 在多样化的输入下，SceneRig 改进了实例分割、以物体为中心的外观和三维放置，同时保持重建场景的物理稳定性。
此外，SceneRig 对下游机器人任务有效：其场景比基线方法更准确地预测真实机器人策略的结果，并更可靠地支持回放已记录的操作，而无需轨迹适配。