多视角潜在动作预训练:从视频进行跨具身机器人学习
该研究提出一种多视角潜在动作模型(LAM),用交叉注意力融合同步多相机视角,先解析深度与遮挡,再压缩为潜在动作;潜在动作输入由冻结VLM主干、潜在专家与动作专家经序列流匹配耦合的策略。在严格跨具身设定下,双视角LAM预训练使真值6D动作可解码性较单视角提升17%,而单视角数据扩大两个数量级仍不足以完全恢复平面外运动;下游策略成功率提升+13.5%,单视角LAM为+6.2%。单一跨具身数据即可实现技能迁移,增加第二个视角优于再增加最多四个具身;在硬件上以人类手部演示迁移,850次rollout中成功率较仅动作策略提升+20%。
发布于 10-22 10:55来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos》查看原链
多视角潜在动作预训练:从视频进行跨具身机器人学习
