PolyUMI：面向物体推理与操作的可及视觉-触觉-音频数据采集平台
研究团队发布开源平台 PolyUMI，其轻量无线手持夹爪可同步采集腕部相机、光学触觉、接触音频与本体感觉数据，无需外接工作站；同一传感手指可转移至机器人末端执行器，保持演示采集与策略执行间的传感几何一致。配套提出 token 级多模态策略 VisTA，跨传感器与时间整合信息以预测接触感知动作。在物体推理、滑动控制与接触丰富操作实验中，触觉与音频提供了视觉之外的任务相关信息，VisTA 与现有多模态策略相比具有竞争力或更优。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《PolyUMI: Accessible Visual-Tactile-Audio Data Collection for Object Inference and Manipulation》查看原链
人类在操作过程中通常依赖视觉、触觉、听觉和本体感觉来感知接触并调整动作。 要让机器人具备类似的响应能力，就需要能够保留并使用这些互补感官信号的硬件。 然而，大多数模仿学习系统主要通过视觉和本体感觉来观察演示，因而难以获取那些在视觉上难以推断的接触信息。
我们提出 PolyUMI，一个开源平台，用于可扩展的视觉-触觉-音频演示采集与机器人部署。 其轻量无线手持夹爪可同步记录腕部相机、光学触觉、接触音频和本体感觉观测，无需连接工作站。 同一传感手指可转移到机器人末端执行器上，从而在演示采集与策略执行之间保持一致的传感几何关系。
为有效利用这些异构观测，我们进一步提出 VisTA，一种 token 级多模态策略，它跨传感器和时间整合信息，以预测接触感知的机器人动作。 涵盖物体推理、滑动控制和接触丰富操作的实验表明，触觉和音频能揭示视觉之外的任务相关信息，且 VisTA 与现有多模态策略相比具有竞争力或表现更优。
PolyUMI 与 VisTA 共同提供了一条可及的流程，用于采集多模态演示并学习能够感知视觉之外物理交互的策略。 项目页面：https://polyumi-vista.github.io