从非机器人合成数据中学习机器人行为先验
论文提出三种对机器人控制进行数学抽象建模的数据生成流程，用其程序化生成的合成数据预训练 Transformer，在未接触任何真实机器人行为的情况下，于未见过的物理机器人任务上取得非平凡的零样本动作预测性能，且专用控制先验优于通用因果先验。与算力匹配的真实机器人数据基线相比，后者仅在自身训练过的数据集上占优。作者据此认为，程序化生成的数学抽象可作为昂贵具身数据采集的潜在补充。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Learning Robot Behavior Priors from Non-Robotic Synthetic Data》查看原链
arXiv:2610.31275v1 公告类型：新论文 摘要：真实机器人数据在任务和形态上丰富多样，但常被视为训练机器人学习模型（包括追求零样本物理迁移的具身基础模型）的瓶颈。 本文研究此类模型能在多大程度上利用无实体系统的数据获得必要结构。
为此，我们测试在模型观察任何真实世界行为之前，廉价、程序化生成的合成数据能否产生有用的先验。 我们通过机器人动作预测来研究这一点，这是一个自然的预训练目标，也是检验从任意合成任务中学到的结构能否迁移到具身环境的直接测试。 我们提出三种数据生成流程，对机器人控制进行数学抽象建模，并将其用作 Transformer 的预训练先验。
我们证明，仅用这种非机器人数据训练的模型，通过上下文学习机制，在未见过的物理机器人任务上获得了非平凡的零样本预测性能，且我们的专用控制先验显著优于通用因果先验。 我们还与在真实机器人数据上训练的算力匹配基线进行比较，发现后者表现优于我们的模型，但仅限于其训练过的数据集。
这些发现表明，程序化生成的数学抽象可以产生有用的机器人先验，为昂贵的具身数据采集提供潜在补充。