HA-DiPO：面向异构协同搬运的扩散策略优化
arXiv 新论文提出 HA-DiPO（异构智能体扩散策略优化），一个面向异构腿式机器人协同搬运非固定共享负载的分层多智能体强化学习框架，采用集中训练、分散执行（CTDE）架构。高层由集中式评论家利用团队价值估计联合训练各机器人独立的协调策略，低层用本体特定的鲁棒运动策略跟踪协调指令；高层采用扩散策略而非单高斯参数化，以表示潜在的多模态协调响应。策略通过奖励驱动的仿真交互从零学习，无需演示数据；执行时各机器人仅用本地机器人与负载观测生成指令，不依赖伙伴状态或机器人间通信。仿真中最终平均回报、速度跟踪成功率高于基线且速度误差更低，真机实验演示了四足轮腿机器人与人机协同搬运。
发布于 10-27 12:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《HA-DiPO: Diffusion Policy Optimization for Heterogeneous Cooperative Transport》查看原链
异构腿式机器人协同搬运需要在支撑非固定共享负载的同时协调不同的运动能力。 我们提出 HA-DiPO（异构智能体扩散策略优化），这是一个在集中训练与分散执行（CTDE）框架下的分层多智能体强化学习框架。 该框架将团队级协调与特定本体的运动控制解耦：在高层次，集中式评论家利用团队价值估计联合训练独立的协调策略，使各机器人特定的动作响应与共享的搬运目标对齐；在低层次，特定本体的鲁棒运动策略跟踪协调指令。
高层扩散策略相比单高斯参数化提供更灵活的动作分布，能够表示潜在的多模态协调响应。 协调策略通过奖励驱动的仿真器交互从零学习，无需演示数据。 在执行时，每个机器人仅利用本地机器人和负载观测生成协调指令，不需要伙伴状态输入或机器人间通信。 仿真对比显示，HA-DiPO 相比所评估的基线取得更高的最终平均回报和速度跟踪成功率，以及更低的速度误差。
真实世界实验进一步展示了四足轮腿机器人和人机协同搬运。