DiffDreamer：将世界模型与可微仿真耦合用于敏捷四旋翼控制
论文提出 DiffDreamer 可微强化学习框架，将学习到的世界模型与可微仿真器耦合：单次优化中世界模型传播捕捉外部动力学与历史特征的潜在状态，仿真器传播机器人显式物理状态；actor 目标分解为 critic 驱动的不可微任务奖励路径与仿真器驱动的可微运动奖励路径。在激进跟踪与动态穿门竞速实验中，其训练收敛优于无模型、基于模型及可微强化学习基线，最终性能也优于这些基线及经典规划控制方法，并附消融实验与概念验证性真机飞行验证。
发布于 10-23 23:02来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《DiffDreamer: Coupling World Models with Differentiable Simulation for Agile Quadrotor Control》查看原链
arXiv:2610.31617v1 公告类型：新论文 摘要：四旋翼动态穿门竞速等任务要求智能体在保持精确高频控制的同时预判外部运动。 基于世界模型的强化学习通过学习潜在动力学进行未来想象，提供了自然的解决方案，但这类方法常将环境演化与机器人自身动力学纠缠在单次学习式推演中，模型偏差会影响策略优化效率。
我们提出 DiffDreamer，一种可微强化学习框架，将学习到的世界模型与可微仿真紧密耦合以进行 actor 优化。 在单次优化步骤中，学习到的世界模型传播捕捉外部动力学与历史依赖特征的潜在状态，而可微仿真器传播机器人显式的物理状态。 我们进一步将 actor 目标分解为两条路径：面向不可微任务奖励的 critic 驱动路径，以及面向可微运动奖励的仿真器驱动路径。
在激进跟踪与动态穿门竞速任务上的实验表明，DiffDreamer 相比无模型、基于模型和可微强化学习基线提升了训练收敛性，并在这三类基线以及经典规划与控制方法之上提升了最终性能。 额外实验通过消融评估了奖励分解与里程计条件化的相对状态表示。
我们还提供了概念验证性的真实飞行实验以进行验证。