从SMPC演示中学习移动操作：稀疏奖励的离线到在线强化学习
该研究在仿真中用基于采样的模型预测控制（SMPC）作为自动专家生成大规模离线数据集，以绕开稠密奖励塑形的人工瓶颈，使离策略强化学习仅凭稀疏任务奖励即可训练。高层智能体与低层动态稳定性控制器结合后，学到的策略在任务目标对齐上超过原始最优控制教师。作者在配备机械臂的Spot四足机器人和G1人形机器人两种形态上部署了复杂移动操作技能，验证了sim-to-real框架的鲁棒性。
发布于 10-27 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL》查看原链
摘要：将移动与操作相结合对机器人自主性至关重要，但将标准强化学习（RL）扩展到复杂任务时，严重受限于缓慢、人工的稠密奖励塑形过程。 为绕过这一限制，我们在仿真中完全使用基于采样的模型预测控制（SMPC）作为可自动、快速调参的专家，生成大规模离线数据集。
由于这些数据解决了根本性的探索问题，我们可以仅使用稀疏任务奖励训练离策略RL智能体，从而大幅缩短学习新技能所需时间，并消除人工调参需求。 将这一高层智能体与低层动态稳定性控制器结合，可产生更优且严格对齐真实任务目标的行为，最终使学习到的策略超越原始最优控制教师。
我们通过在不同形态上成功部署复杂移动操作技能，验证了该sim-to-real框架的鲁棒性，包括配备机械臂的Spot四足机器人和G1人形机器人。