部署中训练：面向机器人操作的人在环在线后训练
论文提出TIDE（Training In DEployment）人在环在线后训练系统，用来源条件监督学习框架从部署期间的人类干预和策略rollout中在线更新策略，不需要学习critic、奖励模型或动作评分器。在四个真实双臂操作任务上，TIDE在里程碑归一化任务进度和全任务完成率上超过热启动策略及匹配的额外离线演示，与固定策略采集基线相当，且部署期间即可提供更新检查点。每个任务的后训练会话从rollout开始到最终检查点可用不到一小时，学习与检查点处理异步进行。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Training in Deployment: Human-in-the-loop Online Post-Training for Robot Manipulation》查看原链
大型预训练机器人基础模型为操作任务提供了强先验，但用离线遥操作演示将其适配到目标任务时，往往无法覆盖部署中遇到的接触密集、恢复和精度关键状态。 现有方法通过人在环数据或在线强化学习增强离线演示来缓解这一问题。 尽管如此，离线后训练适配缓慢，因为它无法立即吸收部署经验；而在线强化学习通常依赖价值函数或辅助的actor-critic模型，增加了训练复杂度和不稳定性。
我们提出TIDE（Training In DEployment），一个在环在线后训练系统。 TIDE引入一种来源条件监督学习框架，从部署期间收集的人类干预和策略生成的rollout中在线更新策略，无需学习critic、奖励模型或动作评分器。
在四个真实世界双臂操作任务上，TIDE在里程碑归一化任务进度和二元全任务完成率上优于热启动策略和匹配的额外离线演示，与固定策略采集基线表现相当，同时在部署期间即可提供更新后的检查点。 每个任务特定的在线后训练会话，从部署rollout开始到最终检查点可用，在不到一小时内完成，学习和检查点处理异步运行。