从预测几何到动作:为具身操作学习互补预测表征
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征:预训练阶段用冻结的3D基础模型提供稠密几何特征,将其压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何过渡施加动作监督,提取强调动作相关过渡的互补运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征则沿动作生成路径引导中间特征,未来观测仅在训练时作为特权监督、推理时不需要。在LIBERO、LIBERO-Plus、SimplerEnv及真实双臂与单臂任务上,该方法一致提升下游策略,在WidowX评测上绝对提升10.4个百分点,并在多种VLA架构与WAM上验证了迁移效果,代码将发布于GitHub。
发布于 10-22 10:55来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《From Predictive Geometry to Action: Learning Complementary Predictive Representations for Embodied Manipulation》查看原链
从预测几何到动作:为具身操作学习互补预测表征
