WorldMirror：从野外机器人演示中智能体化生成可交互世界的真实到仿真
WorldMirror 提出一种智能体化的真实到仿真框架，从野外机器人演示中构建可交互数字孪生，核心是把真实到仿真构建表述为对可执行世界程序的迭代精化。编码智能体负责分解场景、规划重建步骤并编排图像与三维生成工具，通过验证反馈修正程序；以相机位姿为锚的场景表示将世界组织为静态视觉上下文、支撑几何与可编辑交互资产。在 DROID 数据集上的实验显示，该方法能重建视觉逼真、几何一致的可交互世界，并保持所记录机器人轨迹的物理有效性。
发布于 10-27 10:53来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《WorldMirror: Agentic Real-to-Sim Generation of Interactive Worlds from In-the-Wild Robot Demonstrations》查看原链
现有仿真环境中的机器人学习方法通常需要大量人工构建场景和指定任务，限制了训练的可扩展性与数据多样性。 与此同时，野外机器人演示天然提供了真实世界交互的多样且真实的观测。 利用这些演示进行仿真，既需要高保真的视觉重建，也需要物理一致的交互。 通用智能体能够灵活适应多样场景，并对三维空间关系进行强推理；专用生成模型则能高保真地重建场景外观与几何。
我们提出 WorldMirror，一个智能体化的真实到仿真框架，从野外机器人演示中构建可交互数字孪生。 其核心思想是将真实到仿真构建表述为对可执行世界程序的迭代精化。 编码智能体分解观测场景、规划重建步骤，并编排专用图像与三维生成工具，通过验证反馈精化程序。
一种以相机位姿为锚的场景表示将世界组织为静态视觉上下文、支撑几何与可编辑交互资产，同时保持场景、物体与机器人之间的空间关系。 智能体利用该表示诊断并纠正重建错误，实现物理一致的交互与轨迹回放。 在 DROID 上的实验表明，WorldMirror 能够重建视觉逼真、几何一致的可交互世界，同时保持所记录机器人轨迹的物理有效性。