反馈世界模型实现对扩散策略的精确引导
该论文提出「反馈世界模型」：在推理阶段维护一个在线更新的轻量级反馈状态，利用机器人每步执行后观测到的真实下一状态修正未来预测，无需额外训练数据或参数更新。作者将其解释为潜空间观测器，并在有界、渐近收敛的动力学残差与稳定反馈增益下给出收敛保证；同时引入动作感知引导，强调动作可控分量。在 LIBERO-Plus、Robomimic 及真实操作任务上，该方法将世界模型预测误差最高降低 76.4%，并可在不更新参数的情况下改进预训练基础模型 Fast-WAM-Joint 的预测。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Feedback World Model Enables Precise Guidance of Diffusion Policy》查看原链
世界模型旨在通过预测动作后果来改进机器人决策。 然而在实践中，一旦机器人遇到训练分布之外的状态，其预测往往变得不可靠，限制了部署时的有效性。 我们观察到，执行本身提供了一种自然但未被充分利用的信号：每个动作之后，机器人直接观测到真实的下一个状态，从而揭示预测结果与实际结果之间的不匹配。
基于这一洞察，我们提出反馈世界模型，一种在推理时闭合预测与观测回路的推理时机制。 该方法不将世界模型视为静态开环预测器，而是维护一个轻量级反馈状态并在线更新，以迭代修正未来预测，利用实时观测补偿模型误差，无需额外训练数据或参数更新。 我们证明该过程可解释为潜空间观测器，并在有界、渐近收敛的动力学残差与稳定反馈增益下具有收敛保证。
我们进一步引入动作感知引导，通过强调动作可控分量、抑制无关变化，将修正后的预测更好地转化为控制。 在 LIBERO-Plus、Robomimic 及真实世界操作任务上的实验表明，该方法在分布偏移下显著提升预测精度与策略性能，世界模型预测误差最高降低 76.4%。
同一反馈机制在不更新参数的情况下改进了预训练基础模型 Fast-WAM-Joint 的预测，展示了其即插即用特性。 这些结果表明，在推理时引入实时反馈为静态世界建模提供了一种简单而有力的替代方案。