EgoWild2Dex：从538.9小时野外人类第一人称视频学习双手灵巧操作
香港大学提出EgoWild2Dex，用538.9小时未经脚本编排的野外人类第一人称视频训练双手灵巧操作策略，每个下游任务仅需不足1小时真实机器人数据。方法包含轻量可微几何变换模块GeoFormer（无需精确标定与3D重投影，比传统Project+Inpaint流程快21.9倍）和动作重定向加逆运动学，将人类第一人称、手套演示与真机演示映射到统一机器人动作空间，训练分开放集预训练、任务适配、真机精调三阶段。真机上三个长程双手任务平均成功率96.7%，可应对外界干扰，未见物体拆箱任务零样本泛化33.3%。
发布于 10-28 10:52来源：机器之心 JIQIZHIXIN
转载 · 官方发布原文：机器之心 JIQIZHIXIN ·《538.9 hours of unscripted, messy real-world human first-person video. Under 1 hour of real-robot data per downstream tas》查看原链
538.9小时的未经脚本编排、杂乱的真实世界人类第一人称视频。 每个下游任务不足1小时的真实机器人数据。 在复杂双手灵巧长程任务上平均成功率96.7%——用美工刀拆箱、用热熔胶枪修手办、铲冰制作冷饮。 这就是香港大学的EgoWild2Dex（ArXiv 2609.23755，项目 https://t.co/vzsfA7XxbK）。
机器人数据昂贵；人类经验无处不在。 问题在于自然人类数据是“脏”的——在EgoWild中，头部累计旋转平均每秒15.93°，每帧包含34.78个不同物体实例，伴随抖动视角、杂乱背景和长尾物体分布。 标准答案是先把数据清洗成实验室般条件。 EgoWild2Dex走相反路线：直接使用。
两部分使这可行。 第一，GeoFormer，一个轻量可微几何变换模块，无需精确相机标定、3D重投影或修复即可对齐第一人称视角——比传统Project+Inpaint流程快21.9倍，视觉对齐更好。 第二，动作重定向加逆运动学将三类数据源——自然人类第一人称（Ego）、机器人视角手套演示（Glove）和真实机器人演示（Robot）——映射到统一的机器人原生动作空间。
训练是渐进的：在大量野外人类数据上开放集预训练，然后任务特定适配，再用每任务不足1小时的真实机器人数据精调。 结果：在真实硬件上，三个长程双手任务平均成功率96.7%，机器人能从干扰中恢复——手指卡住、人类重新布置场景。 在训练中从未见过的物体拆箱任务上，零样本泛化达到33.3%。
EgoWild本身记录了家庭、工厂、药房、医院和超市中的自然人类操作，保留动态视角、复杂背景和多样操作流程。 论文和项目页已上线。 EgoWild2Dex：从野外人类第一人称经验学习灵巧双手操作 论文：https://t.co/fMcTHWvy79 项目：https://t.co/PtYFErLrEo 我们的报道：https://t.co/dAMOZYo1nS 📬 #PapersAccepted by Jiqizhixin