用于预测机器人柔性内窥镜导航回退的多模态进度残差融合
研究提出多模态进度残差融合（MPRF）因果模型，利用操作指令、电磁跟踪和内窥镜视频预测柔性机器人内窥镜操作者的回退行为。在150个回合的结肠体模数据采集中，MPRF在三个随机种子下取得0.580±0.007 AUPRC，最强减少模态对照组为0.511。完整多模态历史是排序优势的主要来源，残差项相较原始融合仅带来小幅且不确定的增量。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Multimodal Progress-Residual Fusion for Anticipating Navigation Retreat in Robotic Flexible Endoscopy》查看原链
柔性机器人内窥镜可穿越迂曲解剖结构，在此过程中，摩擦、形变与管壁相互作用使指令插入量与有效远端推进量产生偏差。 操作者会解读这一偏差并回退，以恢复可导航构型。 要识别操作者接近该决策的过程，需将电机意图与远端响应及局部视觉场景关联起来。 我们提出多模态进度残差融合（MPRF），这是一种因果模型，利用指令、电磁（EM）跟踪和内窥镜视频来预测操作者回退。
一个标称进度模型预测正常或成功导航下的预期响应；一个时间预测器将其EM残差与全部三种观测模态结合。 在150个回合的结肠体模采集中，MPRF在三个随机种子下达到0.580±0.007 AUPRC，而最强的减少模态对照组为0.511。 完整的多模态历史提供了主要的排序优势，而残差则增加了显式的意图-响应表示，相较原始融合仅有小幅且不确定的增量。
对冻结告警的分析将预警时机与行为标签关联，并解释了在更长匹配窗口下事件召回率的提升。 这些结果为操作者控制导航过程中的行为辅助奠定了基础。