通过动作表征预训练扩展灵巧操作能力
研究提出 ARPG 方法，将动作表征学习与动作生成分离：先在大规模人类操作数据上预训练动作表征编码器，再冻结编码器，训练 1.3 亿参数的生成主干网络，在表征空间中学习任务条件动作分布。在 DexJoCo 基准上取得当前最优性能，双臂灵巧操作平均成功率从 π_{0.5} 的 10.1% 提升至 44.7%。扩展实验显示，更广泛覆盖人类操作行为可有效提升下游性能，作者据此认为动作表征预训练为复杂灵巧操作提供了独立的扩展维度。
发布于 10-27 12:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Scaling Dexterous Manipulation via Action Representation Pretraining》查看原链
大规模视觉、语言和视频预训练显著提升了机器人操作模型的感知与泛化能力，但复杂灵巧操作的动作生成仍受限于机器人演示数据的稀缺。 有限的机器人演示数据必须同时用于学习动作表征和任务条件动作分布，导致动作表征难以充分学习，进而限制下游生成模型生成复杂灵巧动作的能力。
为解决这一限制，我们提出 ARPG（动作表征预训练与生成），将动作表征学习与动作生成显式分离：首先在大规模人类操作数据上预训练动作表征编码器，然后冻结该编码器，训练一个紧凑的生成主干网络（1.3 亿参数），在编码器的表征空间中学习任务条件动作分布。
实验结果表明，ARPG 在 DexJoCo 基准上达到当前最优性能，并将双臂灵巧操作的平均成功率从 π_{0.5} 的 10.1% 提升至 44.7%。 扩展实验进一步表明，更广泛地覆盖人类操作行为能有效提升下游性能。 这些结果表明，动作表征预训练为提升复杂灵巧操作能力提供了一个独立的扩展维度。