Inside-JEPA：从预测到潜世界模型中的关系性 grounding
Inside-JEPA 在 JEPA 潜状态内为有序实体对设置关系通道，并证明逆动力学损失在读取这些通道时无需关系标签即可 grounding 它们。在 Something-Something V2 上，仅潜预测与随机关系头相当；逆动力学监督在十个带标注框设置中提升关系 AUROC .065-.103，在 RH20T 机器人片段上提升 .081，在五个关系上提升 .050-.061。给定动作时预测关系变化 AUROC 为 .599，接近观测未来关系的 .621；一步关系目标下监督读出在 43% 情况下将正确动作排进 65 个动作的前五。
发布于 10-23 23:02来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Inside-JEPA: From Prediction to Relational Grounding in Latent World Models》查看原链
联合嵌入预测架构（JEPA）在潜空间中学习世界模型，使规划变得高效，但其状态不透明。 我们提出 Inside-JEPA，在 JEPA 潜状态内部为有序实体对设置关系通道，并证明当逆动力学损失的头读取这些通道时，无需关系标签即可 grounding 这些通道——无论单独读取还是作为完整状态的一部分。
在 Something-Something V2 上，仅靠潜预测的表现与随机关系头相当，而从通道变化中恢复动作的逆动力学监督在十个带标注框的设置中将关系 AUROC 提升 .065-.103，在 RH20T 机器人片段（留出任务）上提升 .081，在使用现成检测与跟踪的五个关系上提升 .050-.061。
实体潜变量上的逆头能更准确地解码动作，但几乎不改善关系 grounding；打乱标签、两个无标签目标、以及仅在 5% 的实体对上使用动作标签，也都无法 grounding 这些通道。 给定动作，预测的关系变化接近观测到的未来关系质量（AUROC .599 对 .621）。
对于一步关系目标，对 16 个通道的监督读出在 43% 的情况下将正确动作排在 65 个动作的前五，而仅预测潜变量为 24%，频率先验为 17%。