H2RBench:用于评估人类到机器人迁移的Real-to-Sim基准
针对人类视频到机器人策略迁移(H2R)方法因任务套件、场景布局、物体实例与机器人监督量不同而难以横向比较的问题,研究者提出 Real2Sim 基准 H2RBench,基于真实人类视频演示与仿真机器人演示建立标准化协议,覆盖四个交互需求不同的操作任务。论文评估了多种采用不同具身差距弥合策略的代表性 H2R 方法,刻画各方法随人类演示数量增加的性能扩展,发现方法间利用额外人类数据的能力差异显著。仿真性能对真实机器人性能具有预测性,跨方法-任务配置的 Pearson 相关系数 r=0.89、Spearman 相关系数 ρ=0.85、平均最大排名违规 MMRV=0.06。
发布于 10-27 12:59来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《H2RBench: A Real-to-Sim Benchmark for Evaluating Human-to-Robot Transfer》查看原链
arXiv:2609.24778v3 公告类型:替换 摘要:从人类视频演示中学习机器人操作策略是实现可扩展机器人学习的一条有前景的途径。 然而,比较不同的人类到机器人(H2R)迁移方法仍然具有挑战性,因为现有方法是在不同设置下评估的,包括不同的任务套件、场景布局、物体实例和机器人监督量。
为应对这一挑战,我们提出 H2RBench,一个用于评估 H2R 迁移方法的 Real2Sim 基准。 H2RBench 提供了一套基于真实人类视频演示和仿真机器人演示的标准化协议,并包含四个涵盖多样交互需求的操作任务。 我们评估了多种具有代表性的 H2R 迁移方法,每种方法采用不同的策略来弥合具身差距。
借助 H2RBench,我们系统刻画了每种方法如何随人类演示数量的增加而扩展,揭示出各方法在利用额外人类数据的能力上存在显著差异。 我们进一步表明,仿真性能在很大程度上可以预测真实世界机器人性能,在所有方法-任务配置上的总体 Pearson 相关系数为 r = 0.89,Spearman 相关系数为 ρ = 0.85,平均最大排名违规(MMRV)为 0.06。
这些结果确立了 H2RBench 作为在真实世界部署之前进行比较性 H2R 评估的实用且可扩展的基准。
