EBV-CAN：面向接触辅助内窥镜导航的视觉-语言定位
研究提出EBV-CAN视觉-语言策略，将一张初始全局鸟瞰静态图像与实时内窥镜观测、电机状态结合，通过三个监督式语义查询在缓存图像上定位末端、下一路点和指令目标，再由残差表示预测弯曲与插入指令。配套VLCA数据集包含517次演示、7.5万动作样本、95.8万空间条目和9.3万条剩余路线记录。50个留出回合中末端坐标与路点定位准确率为97.5%和94.8%；1920次物理试验中EBV-CAN成功183/240（76.25%），而离线MAE最低的GRU-BC物理成功率仅1/240。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《EBV-CAN: Vision--Language Grounding for Contact-Aided Endoscope Navigation》查看原链
柔性内窥镜利用结构柔顺性穿越狭窄管腔、管道和腔体，其导航过程涉及分布式的环境接触，这种柔顺性使末端运动依赖于不断变化的支撑构型。 我们提出外部鸟瞰视角接触辅助导航（EBV-CAN），这是一种视觉-语言策略，将一张初始全局静态鸟瞰图像与不断变化的内窥镜观测和电机状态相结合。
三个监督式语义查询在缓存的全局图像上定位末端、下一路点和指令目标；它们的残差表示用于预测弯曲和插入命令。 我们引入视觉-语言接触辅助（VLCA）数据集，将517次演示和7.5万个动作样本与95.8万个空间条目和9.3万条剩余路线记录关联起来。
在50个留出回合上，末端坐标和路点定位分别达到97.5%和94.8%。 在相同观测下替换目标指令，会在17个双目标回合中改变目标注意力和电机输出。 在共享协议下训练的八种策略共进行1920次物理试验，EBV-CAN在自动蓝色区域评分下取得183/240次成功（76.25%）。
门控循环单元行为克隆（GRU-BC）取得最低的匹配任务离线平均绝对误差（MAE）0.056，但物理成功率仅为1/240，这表明动作模仿与任务完成之间存在不同的排序。 成功的多引导执行和代表性失败案例将空间进展、转向过渡和可见性与物理导航联系起来。