MDPO：基于强化学习的多约束灵巧策略优化
论文提出多约束灵巧策略优化方法MDPO，将灵巧操作建模为同时包含累积代价约束与逐状态代价约束的多约束策略优化问题，并把多约束投影集成进策略优化过程：用约束特定的策略投影，把最大化任务性能的中间策略映射到两类约束定义的可行域。在ReDMan平台的关节安全控制、手指安全与抓取任务实验中，MDPO相比基线约束满足更优，任务性能保持竞争力，代码已公开。
发布于 10-27 12:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《MDPO: Multi-constraint Dexterous Policy Optimization with Reinforcement Learning》查看原链
摘要：灵巧操作需要高维控制策略来完成复杂的接触密集型任务，同时满足多项安全要求，例如关节限位、不安全的指部构型、机械臂碰撞以及不稳定的物体交互。 约束强化学习（RL）为将这些要求纳入灵巧操作策略学习提供了原则性框架。 然而，现有面向灵巧操作的约束RL方法主要关注累积代价约束，难以在灵巧策略学习过程中同时处理多种异构约束。
在本工作中，我们提出多约束灵巧策略优化（MDPO）用于安全灵巧操作。 我们首先将灵巧操作建模为同时包含累积代价约束和逐状态代价约束的多约束策略优化问题。 基于该建模，我们将多约束投影集成到灵巧操作策略优化过程中。 具体而言，我们采用约束特定的策略投影，将最大化任务性能的中间策略映射到由累积代价约束和逐状态代价约束定义的可行域上。
在ReDMan上的大量实验，包括安全关节控制、手指安全和抓取任务，表明与基线相比，MDPO在保持有竞争力的任务性能的同时实现了更优的约束满足。 我们的代码可在本链接获取。