通过动作影响最大化训练可控世界模型
论文指出，在成功的目标导向演示上训练的动作条件视频生成模型会忽略动作指令，原因在于训练数据的动作影响不足，并证明数据本身构成模型可表达动作影响的上界，专家演示的狭窄动作分布使该上界偏低。作者提出主动采集数据的 Action Influence Maximization（AIM）算法，在仿真导航与操作任务中与探索启发式、内在动机方法对比。在基于像素的操作任务中，AIM 是唯一持续提升可控性的方法：在 3k 条演示基础上新增 500 条主动采集回合，其末端执行器可控性即达到用 300k 条专家回合训练的世界模型水平，数据量减少 85 倍。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Training Controllable World Models via Action Influence Maximization》查看原链
在成功的、目标导向的演示数据上训练的动作条件视频生成模型，往往会忽略所给的动作指令，无论要求它做什么，都会生成一个看似合理的、类似专家演示的未来。 我们将这一失败归因于训练数据缺乏足够的动作影响。 我们分析了这一度量，并证明它构成了任何在该数据上训练的模型所能表现出的动作影响的上界。
专家演示的动作分布狭窄，使得下一状态无需关注动作即可预测，因而设定了一个低上限，仅靠增加模型容量无法提高。 要提高这一上限，就需要采集不同的数据。 我们提出动作影响最大化（AIM），一种主动采集训练数据以提升数据集动作影响的算法。 我们在仿真导航与操作任务上，将 AIM 与探索启发式方法和内在动机方法在性能和数据效率上进行了比较。
在基于像素的操作任务中，AIM 是唯一能持续提升可控性的方法：在 3k 条演示数据的基础上主动采集 500 条回合，即可在末端执行器可控性上达到用 300k 条专家回合训练的世界模型的水平，数据量减少 85 倍。