新手操作者所见如何改变策略学习：面向遥操作示教的指尖关键点手部视觉表征用户研究
研究团队提出遥操作界面PointHand，将多指机器人手渲染为指尖与关节的稀疏关键点，与策略可观测的关键点一致。在模拟的“杯中取物入盒”任务中，18名新手与4名专家在三种渲染方式下共采集2200次试验：看到仅强调拇指和食指的新手从600次试验中获得441次成功示教，而看到真实手形的新手为320次。用这些示教训练扩散策略并将观测替换为手部关键点与两个物体关键点后，400步内该条件从点云策略下三种新手条件中最弱的46.3%升至关键点策略下最强的57.3%，五个随机种子均提升11.0个百分点；强调全部关键点的示教变化至多+0.7个百分点。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《What Novice Operators See Changes What the Policy Learns: A User Study of Keypoint Hand Visual Representation for Teleoperated Demonstration》查看原链
模仿学习日益依赖新手操作者，其示教在数量和试次间一致性上不及专家。 操作者依据所见内容行动，但机器人渲染方式如何影响其示教以及基于这些示教训练的策略，尚未被考察。 我们通过PointHand研究这一问题，这是一种遥操作界面，将多指机器人手渲染为指尖和关节处的稀疏关键点，与策略可观测的关键点相同。
在模拟的“杯中取物入盒”任务中，18名新手和4名专家在三种渲染方式下采集了2200次试验：手的真实形状、强调全部关键点、仅强调拇指和食指。 看到仅强调拇指和食指的新手从600次试验中采集到441次成功示教，而看到真实形状的新手为320次。 随后我们在这些示教上训练扩散策略，将其观测的场景点云和本体状态替换为手部关键点和两个物体关键点。
在400步内，这些示教从点云策略下三种新手条件中最弱的（46.3%）变为关键点策略下最强的（57.3%），在全部五个随机种子中提升11.0个百分点。 强调全部关键点采集的示教变化至多+0.7个百分点，且不超过三个种子。 因此，示教的价值取决于采集时展示的渲染方式以及策略同时观测的内容。
共享表征可在两方面获益：成功示教的数量和基于其训练的策略成功率。 项目页面：https://omron-sinicx.github.io/point-hand/