DiscoDemo：为模仿学习发现高效且多样的机器人演示数据
DiscoDemo 将强化学习用作下游视觉运动模仿学习的数据生成器，而非可部署控制器：训练带特权信息的潜在条件 RL 生成器，结合并行逆向课程与成功门控多样性目标，产出多个成功闭环行为，经安全过滤后导出为静态数据集。在四个操作任务上，仿真中下游成功率由最强基线的 40% 升至 62%，真实机器人上由 39% 升至 78%，成功状态覆盖更广。作者称该多样性收益对预训练流匹配 VLA 有效，并与纠错数据采集互补。
发布于 10-27 10:53来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《DiscoDemo: Discovering Efficient and Diverse Robot Demonstrations for Imitation Learning》查看原链
用于机器人操作的模仿学习（行为克隆）对训练数据的覆盖范围高度敏感，而采集多样化的成功演示数据成本高昂。 本文研究强化学习（RL）的一种新用途：不将其作为可部署的控制器，而是作为下游视觉运动模仿学习的数据生成器。 核心前提是：多个成功的解模式比反复采集单一狭窄解能覆盖更广的成功轨迹范围。
为此提出 DiscoDemo，训练一个带特权信息的潜在条件 RL 生成器，采用并行逆向课程与成功门控的多样性目标，在保持任务成功的前提下发现多样化解。 训练后的生成器产生多个成功的闭环行为，经安全过滤后导出为静态数据集，供下游模仿学习使用。
在四个操作任务上，DiscoDemo 带来更广的成功状态覆盖，并在仿真与真实世界中提升下游视觉运动策略：仿真中下游成功率从最强基线的 40% 提升至 62%，真实机器人上从 39% 提升至 78%。 结果表明，成功解的多样性可改善预训练流匹配 VLA 的模仿学习，且与纠错数据采集互补。