RoboCap：面向第一人称机器人学习的新平台
研究团队发布RoboCap，一顶重250克、搭载6个摄像头和双IMU的帽子，用于在真实环境中采集第一人称操作数据，并配套推出与设备无关的3D算法套件Grounded API。报告称，硬件、标定与3D算法协同后，其SLAM在多种场景与设备配置下、深度估计在第一人称场景下、手部追踪在适配第三方设备时，均在公开基准上达到当前最优性能。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《RoboCap: A New Platform for Egocentric Robot Learning》查看原链
arXiv:2610.07217v2 公告类型：替换 摘要：尽管第一人称操作数据在扩展机器人学习方面具有前景，但目前仍然稀缺。 大规模采集需要将符合人体工学的硬件与厘米级精度的3D算法进行垂直整合，而这一精度此前尚未有公开演示。 为填补这一空白，我们推出RoboCap——一顶重250克、配备六个摄像头和双IMU的帽子，用于在真实环境中进行第一人称数据采集；同时推出Grounded API——一套与设备无关、针对RoboCap调优的3D算法。
在本报告中，我们展示了硬件、标定与3D算法如何相互作用，从而在公开基准上达到最先进性能：我们的SLAM在多种场景与设备配置下、我们的深度估计在第一人称场景下，以及我们的手部追踪在适配第三方设备时。