SceneAgent：从3D与4D采集到仿真环境的智能体流水线
SceneAgent是一条智能体流水线，通过基于仿真器的视觉检查与修复，把3DGS、摄影测量、LiDAR采集、AI生成3DGS场景及4D动态视频转换为可交互仿真环境，流程涵盖物体分割、物理参数估计、部件分解、关节化与可变形仿真，并生成物体变体与脚本化演示以支持策略学习。在GraspClutter6D杂乱料箱场景中，所有具备可评分输出的编码智能体配置F1均超过SimFoundry，最佳60.75%对6.9%；在4DCodeBench三个动态场景上，Gemini 4 Argon平均动态IoU从0.86%升至99.09%。作者还展示了多样化仿真交互及向真实机器人的初步策略迁移。
发布于 10-27 12:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《SceneAgent: An Agentic Pipeline from 3D and 4D Captures to Simulation Environments》查看原链
视觉采集能提供详细的场景外观，但将其转换为可交互的仿真环境需要物体重建、物理建模以及修正中间环节的错误。 我们提出SceneAgent，这是一条通过基于仿真器的视觉检查与修复来协调上述步骤的智能体流水线。 该流水线可处理3D高斯泼溅（3DGS）、摄影测量、LiDAR采集、AI生成的3DGS场景以及动态场景的4D视频，并结合物体分割、物理参数估计、部件分解、关节化与可变形仿真。
为支持策略学习，SceneAgent生成多样化的物体变体（“数字姐妹”）和脚本化演示。 在来自GraspClutter6D的一个杂乱料箱场景上，SceneAgent使每个具备可评分输出的编码智能体在1厘米阈值下的F1均有提升，无论是否使用其技能；其重建结果优于SimFoundry：所有智能体配置的F1分数均超过SimFoundry，最佳为60.75%对6.9%。
在来自4DCodeBench的三个动态场景上，SceneAgent将Gemini 4 Argon的平均动态IoU从0.86%提升至99.09%。 我们进一步展示了多样化的仿真交互以及向真实机器人的初步策略迁移。