RoboLongR：因果一致的奖励教会机器人逐步掌握长程操作
RoboLongR 提出离线到在线的框架，学习依赖历史的奖励以引导策略适应新任务，核心目标是因果一致性，即被奖励的进展须与执行历史支持的前提条件对齐。方法包含阶段打乱监督、循环记忆和两轮训练，奖励引导阶段条件策略从行为克隆精炼至在线强化学习。在 88 个 RLBench 任务和 Open-X 数据上预训练后，该工作在未参与奖励预训练的 18 个长程任务上平均成功率 31.8%，高于最强基线 9.2 个百分点；四个真实机器人任务成功率 57.5%，比对比方法高 32.5 个百分点。
发布于 10-27 12:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《RoboLongR: Causally Consistent Rewards Teach Robots to Progressively Master Long-Horizon Manipulation》查看原链
长程操作要求动作的有效性取决于此前的交互，但视觉上的进展可能掩盖任务前提条件的缺失。 我们提出 RoboLongR，一个从离线到在线的框架，学习依赖历史的奖励以引导策略适应新任务。 其核心目标是因果一致性：使被奖励的进展与执行历史所支持的前提条件保持一致。
阶段打乱监督鼓励对执行顺序的敏感性，循环记忆保留早期交互的证据，两轮训练利用预测的进展细化轨迹片段。 所得奖励引导阶段条件策略从行为克隆精炼至在线强化学习。 稀疏终端反馈通过触发对重复高分失败的纠正，将策略经验与奖励学习连接起来。 在来自 88 个 RLBench 任务和 Open-X 数据的演示上预训练后，RoboLongR 在未纳入奖励预训练的 18 个长程任务上取得 31.8% 的平均成功率，超过最强评估基线 9.2 个百分点。
在四个真实机器人任务上，它取得 57.5% 的成功率，相比对比方法提升 32.5 个百分点。 奖励层面的控制实验探测了对合成顺序扰动的敏感性，消融实验考察了各组件对策略改进的贡献。