DepState-JEPA：面向视觉感知与操作的学习深度锚定状态表示
该论文提出DepState-JEPA，一种基于V-JEPA 2.1的双流RGB-深度联合嵌入预测架构，通过共享潜在状态DepState将空间理解与动作条件预测连接。深度既作为互补观测流，也用于将两种模态锚定在度量三维空间中；射线条件读出无需目标深度即可预测局部特征，动作条件转移后同一解码器预测未来RGB与深度特征。机器人状态读出提供递归本体感受输入，物体轨迹监督与校准正向运动学通过运动目标和关节-TCP一致性塑造状态学习。对比显示RGB-D适配后RGB编码器迁移、特征补全、条件视觉预测和操作成功率均有提升，消融实验识别出深度内容、度量坐标、未来状态匹配的贡献及FK正则化的额外控制增益。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《DepState-JEPA: Learning Depth-Grounded State Representation for Visual Perception and Manipulation》查看原链
用于机器人操作的预测性表示应将场景几何与动作引起的状态变化联系起来。 我们的直觉是，理解一个动作将改变什么，始于理解物体在哪里：互补的RGB与深度观测为推断这些变化提供了共同的场景表示基础。 在这一直觉的引导下，我们提出DepState-JEPA，一种双流RGB-深度联合嵌入预测架构，通过共享的潜在状态DepState将空间理解与动作条件预测连接起来。
该框架基于V-JEPA 2.1构建，将深度既作为互补的观测流，又用于将两种模态锚定在度量三维空间中，把共享信息聚合到DepState中，同时保留模态私有特征用于解码。 射线条件读出无需目标深度即可预测局部特征；在动作条件转移之后，相同的解码器利用预测状态和固定的初始私有特征预测未来的RGB与深度特征。
机器人状态读出提供递归的本体感受输入；物体轨迹监督与经校准的正向运动学通过运动目标和关节-TCP一致性来塑造状态学习。 对比结果显示，在RGB-D适配之后，RGB编码器迁移、特征补全、条件视觉预测和操作成功率均有提升。 模型内消融实验识别出深度内容、度量坐标和未来状态匹配的贡献，并发现FK正则化带来额外的控制增益。