具身任务智能体可通过触觉上下文学习完成精细操作
arXiv 论文提出 Tactile-ETA 系统，通过上下文学习把触觉经验注入具身任务智能体，无需任务特定训练或更新模型参数。方法将每段专家演示的机器人运动与相机视图、双侧触觉观测配对，保留运动起止触觉帧并在触觉图像显著变化处补两个相邻时间点。四个仿真操作任务中，在感知与执行接口不变下加入触觉观测使平均成功率从 15.75% 升至 24.00%；真实机器人任务中视觉与触觉对齐的演示将成功率从 0% 提升至 60%。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Embodied Task Agents Can Perform Fine Manipulation through Tactile In-Context Learning》查看原链
具身任务智能体能否在不进行任务特定模型训练的情况下，利用触觉经验完成精细操作？ 我们通过 Tactile-ETA 系统研究这一能力，该系统借助上下文学习将触觉经验引入具身任务智能体。 成功的专家演示展示了操作过程中接触状态如何变化。 我们将每段记录的机器人运动与其相机视图和双侧触觉观测配对。
我们保留每段运动开始和结束时的触觉观测，并在触觉图像发生显著变化的中间时段补充两个相邻时间点。 智能体将这些演示与当前视觉、触觉观测和本体感知结合，通过通用机器人工具选择动作，且不更新模型参数。 在四个仿真操作任务中，在保持当前感知与执行接口不变的情况下，向相同的两组专家演示加入触觉观测后，平均成功率从 15.75% 提升至 24.00%。
进一步实验表明，性能取决于演示的感官内容与表征方式；在相同系统配置下比较不同智能体模型于 Lift Bottle 任务上的表现，发现存在显著差异。 在真实机器人任务中，视觉与触觉观测对齐的演示将任务成功率从 0% 提升至 60%。 这些发现证明了在上下文中利用触觉经验进行精细操作的可行性，并提示了一条将具身任务智能体扩展到更多感官输入的路径。