一种策略，多种风格：可操控人形控制中偏好聚合的位置选择
该研究提出将偏好奖励响应性（PRR）与覆盖率、效用指标结合，用于评估可操控人形控制中偏好条件强化学习的聚合方式。作者在两个类人控制框架上比较了奖励级、优势级、损失级和基于 PCGrad 的聚合，发现没有一种聚合层级在所有环境和标准上表现最佳：早期聚合目标会带来更广泛的行为响应，但对其他目标的非预期改变更大；较晚聚合则提高控制精度，但以响应性为代价。
发布于 10-22 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《One Policy, Many Styles: Where to Aggregate Preferences for Steerable Humanoid Control?》查看原链
现代机器人智能体日益需要支持可操控控制，即单一策略能够在运行时根据变化的用户偏好调整其行为风格。 偏好条件强化学习提供了这一接口，但仅靠条件化并不能保证所请求的行为变化足够强、不会泄漏到无关行为，也不会损害任务性能。 我们的评估将偏好奖励响应性（PRR）与覆盖率和效用指标相结合。
我们使用这些指标，在两个类人控制框架上比较奖励级、优势级、损失级和基于 PCGrad 的聚合方式。 没有一种聚合层级在所有环境和标准上都表现最佳。 实验表明，早期聚合目标会产生更广泛的行为响应范围，但也会对其他目标造成更大的非预期改变；而较晚聚合则能提高控制精度，但会以响应性为代价。