基于重建增强的视觉运动预训练：从纯RGB人类视频学习三维接地的双手灵巧操作
SpatialDex 框架从纯 RGB 人类视频中学习三维接地的双手灵巧操作：对每段视频重建场景几何并估计手部运动，用手部尺寸先验在视频级尺度上对齐二者，重建几何同时作为策略输入与预测目标。策略通过门控残差融合把预训练视觉-语言模型的 token 网格接地到该几何，预测未来场景几何与手腕、手指动作，并以双手手腕预测轨迹为条件生成手指运动。在 100 万个人类视频片段上预训练、少量机器人演示微调后，该方法在两种本体的九个仿真灵巧任务上比 SOTA 高 16.5 分，在六个真实双手灵巧任务上高 38.3 分；匹配比较下，用重建几何预训练比仅用手部运动预训练成功率提升 14.2 分。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Reconstruction-Augmented Visuomotor Pre-Training of 3D-Grounded Bimanual Dexterity from RGB-Only Human Videos》查看原链
我们提出 SpatialDex，一个通过重建增强的视觉运动预训练，从纯 RGB 人类视频中学习三维接地的双手灵巧操作的框架。 其核心思想是将人类行为与其空间上下文一起学习。 对每段视频，我们重建场景几何并估计手部运动，利用三维手部估计的手部尺寸先验在统一的视频级尺度上对齐二者。
我们将重建的几何保留为策略输入和预测目标。 该策略通过门控残差融合，将预训练视觉-语言模型的 token 网格接地到该几何上，训练其预测未来场景几何以及手腕和手指动作，并以双手手腕的预测轨迹为条件生成手指运动。 在 100 万个人类视频片段上预训练，并用少量机器人演示微调后，SpatialDex 在两种本体、九个仿真灵巧任务上比最先进方法高出 16.5 分，在六个真实世界双手灵巧任务上高出 38.3 分。
在匹配比较下，使用重建几何进行预训练比仅用手部运动预训练的成功率提升 14.2 分。