面向接触密集型机器人操作的多分辨率触觉模仿学习
研究提出多分辨率触觉感知框架 MiTaS，融合 RGB 相机、GelSight Mini 视觉触觉传感器与高频事件型 Evetac 传感器，采用模态特定卷积主干加 Transformer 融合，并以流匹配策略执行下游任务。在五个接触密集型操作任务上，MiTaS 平均成功率 80%，仅视觉基线为 35.5%，视觉-触觉基线为 55.5% 和 63%。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Multi-Resolution Tactile Imitation Learning for Contact-Rich Robotic Manipulation》查看原链
arXiv:2606.06281v2 公告类型：替换 摘要：触觉感知有助于解决多种操作任务。 尽管现有触觉传感器种类繁多、特性各异，但如何融合多种异构触觉传感器来改进操作学习仍缺乏探索。 我们提出多分辨率触觉感知（MiTaS），这是一个利用多个在不同时间分辨率下工作的触觉传感器来解决复杂接触密集型操作任务的表征框架。
我们提出了一种有效架构，采用模态特定的卷积主干和基于 Transformer 的融合，有效整合来自 RGB 相机流、基于视觉的 GelSight Mini 传感器和高频事件型 Evetac 传感器的信息。 这种多感官表征随后用于条件化流匹配策略，以求解下游任务。
我们在五个接触密集型操作任务上的系统性研究表明，多分辨率触觉特征在模仿学习中具有有效性，MiTaS 平均成功率达到 80%，而仅视觉（35.5%）和视觉-触觉（55.5%、63%）基线无法可靠地完成任务。 项目主页：http://mitas-touch.github.io。