学习灵巧操作：手、仿真器、训练与评估
一篇综述统计了113种基于学习的灵巧手操作方法，发现该领域已基本收敛到同一范式：在GPU仿真器中基于特权状态做强化学习，再蒸馏为仅依赖视觉的学生策略迁移到硬件；近一半语料采用该路线，且几乎全部集中在一个仿真器中，其后续版本鲜少被使用。另一条增长更快的分支从遥操作演示学习，采用视觉-语言-动作模型、扩散策略，或贡献在于采集装置本身的系统。已发表工作自2022年以来增长两倍，抓取为最大任务类别，双臂协调增长最快，几乎所有实验集中在四种手上。综述还指出，八种可购买或按公开设计制造的手未出现在任何方法论文中。
发布于 10-27 12:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Learning Dexterous Manipulation: Hands, Simulators, Training, and Evaluation》查看原链
摘要：灵巧手可以在不放下物体的情况下改变其位姿。 本综述覆盖了113种尝试实现这一目标的学习方法、这些方法所运行的手、训练所用的仿真器，以及它们如何报告结果。 该领域已基本收敛到一种范式：在GPU仿真器中基于特权状态进行强化学习，再蒸馏为仅依赖视觉的学生策略以迁移到硬件。
语料中近一半以这种方式训练，且几乎全部集中在同一个仿真器中，该仿真器的后继版本鲜少被使用。 第二条且增长更快的分支则改为从遥操作演示中学习，通过视觉-语言-动作模型、扩散策略，以及贡献本身在于采集装置的系统。 已发表工作自2022年以来增长了两倍。
抓取仍是最大的任务类别，双臂协调是增长最快的类别，几乎所有实验都在四种手之一上运行。 本综述的增量来自在论文之外阅读已发布代码和厂商规格。 有八种可购买或按公开设计制造的手未出现在这里的任何方法论文中。 在报告了手陷入所持物体深度的场合，该深度并非以产生运动的物理量来测量。
第七节提出了针对未报告量的协议；正文给出了上述每项论断背后的计数。