表征先验如何塑造世界动作模型的泛化能力
研究比较了不同生成骨干下世界动作模型（WAM）的泛化性能差异，提出以“冗余正交性”量化表征先验：特征在经验分布内流形之外的视觉变化下保持正交的程度。在多种图像与视频骨干上的实验显示，表征先验的正交性越高，WAM训练后对视觉变化的鲁棒性越强，并可在训练前前瞻性预测策略泛化能力。对鲁棒WAM的分析还发现冗余抑制现象，即对视觉变化引起的特征位移的相对抑制与鲁棒动作生成同时出现。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《How Representational Priors Shape Generalization in World Action Models》查看原链
世界动作模型（WAM）在不同生成骨干下表现出显著的泛化性能差异。 我们通过WAM从其骨干继承的表征几何以及策略训练如何重组该几何来研究这一差距。 我们的核心假设是：有用的表征先验会在策略训练之前就构建出能将冗余信息与分布内流形分离的几何结构。
我们用冗余正交性来量化这一点，即特征在经验分布内流形之外的视觉变化下的正交性。 在多种图像和视频骨干上，我们表明表征先验的正交性越高，WAM训练后对视觉变化的鲁棒性越强，从而使世界模型的策略泛化能力可前瞻性度量。 此外，分析所得的鲁棒WAM揭示了冗余抑制：对此类变化引起的特征位移的相对抑制，以及策略的鲁棒动作生成。
这些发现共同提供了关于世界模型表征先验如何塑造WAM泛化性能的几何视角。