PlayPolicy：从监督式玩耍中获得灵巧性
研究团队提出 PlayPolicy（DSP）框架：机器人先通过行为克隆从数分钟人类玩耍数据中学得玩耍策略，再自主运行数小时采集交互数据训练世界模型；推理时该策略为模型预测控制（MPC）提出候选动作序列，由世界模型评估，并可用世界模型内自我对弈蒸馏闭环目标条件策略加速推理。在仿真与真实世界的多指手欠驱动推动和任意到任意手内姿态重定向任务上，真实实验成功率比事后行为克隆高 69.6%，交互数据量比强化学习少 490 倍而成功率相当，且无需任务特定演示或 sim-to-real 迁移。
发布于 10-27 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《PlayPolicy: Dexterity from Supervised Play》查看原链
摘要：机器人如何自主收集学习灵巧操作所需的接触密集型经验？ 我们提出 PlayPolicy：从监督式玩耍中获得灵巧性（DSP），这是一个框架：机器人通过行为克隆从数分钟的人类玩耍数据中学习一个玩耍策略，然后自主部署该策略以收集数小时的交互数据来训练世界模型。
在推理时，同一个玩耍策略通过在学习到的世界模型下提出候选动作序列供评估，来引导模型预测控制（MPC）。 为加速推理，我们还提出一种在学习到的世界模型内通过自我对弈蒸馏闭环、目标条件策略的方法。 我们在仿真和真实世界中，用多指手对欠驱动推动和任意到任意的手内姿态重定向评估该框架。
在真实世界实验中，我们的方法在成功率上比事后行为克隆高 69.6%，并以少 490 倍的交互数据达到与强化学习相当的成功率。 这些结果表明，监督式玩耍能够自主收集交互数据、引导基于模型的规划，并在无需任何任务特定演示或仿真到现实迁移的情况下实现策略学习。
项目页面：https://play-policy.github.io/