μ₀：一种可扩展的3D交互轨迹世界模型
研究提出 μ₀，一种基于3D轨迹的可扩展世界模型：不预测密集像素或直接建模动作，而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹，形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联，从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合，用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线；冻结的 μ₀ 可与动作专家配对用于下游具身，无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《$\mu_0$: A Scalable 3D Interaction-Trace World Model》查看原链
arXiv:2606.13769v3 公告类型：替换 摘要：捕捉动作如何引起物理变化的世界模型，使机器人学习能够在不依赖特定具身动作标签的情况下实现规模化。 像素空间视频模型提供广泛的视觉先验，但将模型容量消耗在密集的外观重建上；而直接动作模型需要特定于具身的标签，这阻碍了可扩展性。
我们提出 μ₀，一种基于3D轨迹的可扩展世界模型。 μ₀ 不预测密集像素，也不直接建模动作，而是为物体、工具、手和接触区域等显著交互点预测平滑的3D轨迹，从而产生一种紧凑、与具身无关的运动接口。 为了能够从多样化的视频来源进行训练，我们的 TraceExtract 系统通过选择关键点、构建全局对齐的轨迹，并将运动片段与分层语言描述关联起来，自动提取3D监督信号。
这种 TraceExtract 监督通过将预训练的视觉-语言骨干网络与模块化轨迹专家相结合来预训练 μ₀，该专家用B样条控制点表示每个查询，并预测未来轨迹。 实验表明，μ₀ 在2D和3D轨迹预测方面均优于基线，包括轨迹预测模型和词元化VLM方法。
由于 μ₀ 是冻结且可复用的，它可以与动作专家配对，用于下游机器人具身。 尽管是无动作预训练，所得的轨迹条件策略达到了与使用动作监督预训练的VLA模型（如 π₀）相竞争的性能。 这些结果确立了3D轨迹作为一种可扩展且可迁移的表示，用于跨具身操作。