从器械安装式演示到活体执行：无需机器人采集演示的双臂腹腔镜阑尾切除术学习
研究提出在标准腹腔镜器械上安装传感器记录外科医生操作，无需机器人采集演示即可训练双臂手术策略，并在活兔上完成阑尾切除术。
发布于 10-21 14:11来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《From Instrument-Mounted Demonstrations to In-Vivo Execution: Learning Bimanual Laparoscopic Appendectomy Without Robot-Collected Demonstrations》查看原链
大多数微创手术仍使用手持腹腔镜器械完成，手术结束后外科医生的器械运动学信息随之丢失，仅保留内窥镜视频。 本文提出一套端到端流程，在手术室中采集该运动，并用于训练手术机器人策略，在活体动物上完成验证。 我们设计了一种手术器械状态记录器，安装在标准腹腔镜器械的杆上，通过惯性传感器、飞行时间传感器和霍尔传感器恢复其位姿与钳口状态，无需外部相机或跟踪器。
数据流程以机器人真值为基准测量每个传感器通道的延迟，并在构建观测-动作对之前对齐各通道。 基于这些演示，我们训练了一个以微调 DINOv3 为骨干的扩散策略，并通过在由离体兔阑尾深度图重建的物理仿真器中进行闭环 rollout 来选择其设计。
随后，该策略在来自四只活兔的 849 条活体演示上重新训练，并部署到另外四只活兔上，同时启用高频电刀。 在外科医生选择手术阶段的前提下，该策略在四只动物中的三只上完成了阑尾切除术。 结果表明，从外科医生自身器械记录的演示足以在活体环境中训练、选择和部署双臂手术策略。
机器人仅作为传感器校准的时序参考和执行器，不采集任何演示。 两套演示数据集均已公开，以支持未来手术机器人学习研究。