重新审视腹腔镜机器人操作中状态到视觉策略蒸馏的分布匹配
该论文提出腹腔镜机器人操作中的状态到视觉策略蒸馏框架：以基于特权观测的状态策略为教师，视觉策略从RGB观测与机器人本体感知信息中学习。作者在仿真环境多种手术操作任务上实验，结果显示通用RL方法训练视觉策略在该场景下具有挑战性，而所提蒸馏方法跨任务性能更一致稳定。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Revisiting Distribution Matching for State-to-Vision Policy Distillation in Laparoscopic Robotic Manipulation》查看原链
通过强化学习（RL）训练的端到端控制策略已成为传统手术机器人控制方法的替代方案，近期研究探索了基于特权状态观测训练的状态策略。 然而，这类方法依赖精确的物理状态，而手术环境难以可靠获取这些状态。 基于视觉的RL提供了另一种途径：直接从RGB观测学习操作策略，避免显式状态估计和人工设计的感知流程，同时使策略能够获取任务相关的视觉表征。
尽管如此，通过纯RL方法获得用于手术操作的视觉策略仍然困难。 因此，模仿学习（IL）成为另一种解决方案，但它需要大量专家演示，而微创手术中难以获得这些演示。 在本工作中，我们提出了一个用于腹腔镜机器人操作中状态到视觉策略蒸馏的框架。 具体而言，采用基于特权观测的状态策略作为教师，视觉策略从RGB观测和机器人本体感知信息中学习，所需专家演示少于IL，且性能优于RL方法。
我们在仿真环境中针对多种手术操作任务进行了大量实验。 实验结果表明，在腹腔镜机器人操作背景下，使用通用RL方法训练视觉策略具有挑战性，而我们提出的状态到视觉策略蒸馏在各项任务中实现了更一致、更稳定的性能。