EgoForesight：利用含噪第一人称动作有效扩展策略学习
EgoForesight 提出一种视觉-语言-动作框架，联合利用机器人演示与第一人称视频训练策略，以降低含噪动作标签的影响。方法包含可靠性条件化损坏、可靠性加权回归，以及用指数移动平均教师从干净未来场景变化中蒸馏特权未来表征。在 30,000 小时预训练数据下，其扩展斜率比基线更陡，真实世界开环动作 MSE 降低 20.5%，RoboCasa 少样本成功率提升 8.1 个百分点；后训练后在仿真与真实灵巧操作中均表现较强。
发布于 10-27 10:53来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《EgoForesight: Effectively Scaling Policy Learning with Noisy Egocentric Actions》查看原链
摘要：扩展策略学习需要广泛的经验和可靠的监督。 机器人演示能提供高质量的轨迹监督，但采集成本高昂。 第一人称视频拓宽了任务与环境覆盖范围，然而运动重建与重定向会引入含噪的动作标签。 为应对这一挑战，我们提出 EgoForesight，一个视觉-语言-动作框架，通过降低不可靠动作标签的影响并利用演示结果作为补充监督，从两类来源联合学习。
联合视觉-动作流将未来视觉表征预测与动作生成耦合，把可靠性感知的动作学习与结果引导的表征迁移统一起来。 具体而言，可靠性条件化损坏按来源可靠性在不同噪声水平上分配动作监督，而可靠性加权回归调节各来源的贡献。 作为对含噪标签处理的补充，特权未来表征蒸馏从演示结果中获取监督。
一个指数移动平均教师观察当前场景与干净未来，从由此产生的场景变化中编码动作相关结构。 其更深层表征监督接收损坏未来的较早学生层，提供超越含噪动作标注的结果引导结构。 这些机制共同支持利用含噪第一人称动作进行有效扩展。 在测试范围内，EgoForesight 表现出比基线更陡的扩展斜率，在 30,000 小时预训练数据下将真实世界开环动作 MSE 降低 20.5%，并将 RoboCasa 少样本成功率提升 8.1 个百分点。
经过后训练，它在仿真与真实世界灵巧操作中均取得较强的绝对性能。