从人类手-物交互数据中学习触觉感知手部表征
arXiv 论文 HuTact 提出从大规模人类手-物交互（HOI）数据预训练触觉感知手部表征，预训练阶段不使用真实触觉信号，再将人类手部运动中的交互结构迁移到机器人触觉观测，并可用少量无标注机器人交互数据适配。在抓取预测、滑动检测、物体分类和触觉条件策略学习任务上，HOI 预训练提升了数据效率。抓取预测中，经 HOI 预训练并在无标注机器人自由交互数据上中期训练后，仅用 25% 下游标注数据即达 88.26% Macro-F1，与全量标注从头训练的 88.23% 相当。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Learning Tactile-Aware Hand Representations from Human Hand-Object Interaction Data》查看原链
摘要：面向灵巧操作的触觉表征学习通常需要大量机器人侧数据采集，限制了其在不同手型和传感器之间的可扩展性。 我们探索大规模人类手-物交互（HOI）数据能否为机器人触觉学习提供有用的先验。 为此，我们提出 HuTact，一个从人类 HOI 数据预训练触觉感知手部表征的框架，预训练阶段无需真实触觉信号。
HuTact 将人类手部运动中学到的交互结构迁移到机器人触觉观测，并可用少量无标注机器人交互数据进一步适配。 我们在触觉感知与操作任务上评估 HuTact，包括抓取预测、滑动检测、物体分类和触觉条件策略学习。 在这些任务上，人类 HOI 预训练提升了数据效率，并为下游学习提供了强初始化。
值得注意的是，经 HOI 预训练并在无标注机器人自由交互数据上做中期训练后，HuTact 仅用 25% 的下游标注数据即在抓取预测上达到 88.26% Macro-F1，与用全部标注数据从头训练（88.23%）相当。 这些结果表明，人类交互数据可作为机器人触觉表征学习的可扩展补充来源。