[发明专利]一种消化内镜导航方法和系统

说明书

本发明公开了一种消化内镜导航方法和系统。该方法包括：融合两帧图像的关键点，利用融合图像的位移向量分布进行离线标记，得到训练数据的真值；搭建孪生神经网络进行有监督预训练；利用训练的模型输出的位移向量分布估计消化内镜镜头下一帧的位置坐标，进而输出完整运动轨迹，以实现消化内镜导航。本发明能够精确识别消化内镜自身位姿与运动方向，从整体上把握运动轨迹，适应性强。

技术领域

本发明涉及医学图像处理技术领域，更具体地，涉及一种消化内镜导航方法和系统。

背景技术

结肠镜检查是肛肠外科诊断恶性肿瘤的重要手段之一，医生控制结肠镜从病人肛门插入，检查分为前进与后退两个阶段，前一阶段医生凭临床经验结合肠镜图像寻找腔道推进镜头，直到抵达盲肠尾部后，再进行回退阶段观察肠道是否有息肉或其他病变。在这种传统的结肠镜手术中，医生仅凭内窥镜成像与自身经验寻找腔道中心推进镜头，由于视野的局限性、肠道自身运动、肠道内溶物以及水雾的影响，很难正确判断镜头的移动方向，最终导致腔道丢失且难以回到原来的位置继续推进，给病人带来心理与生理上的痛苦，严重时还会造成穿孔、出血等诸多问题。

目前，能够自主运动的肠镜机器人(如微型胶囊内窥镜)在一定程度上能消除病人心理上的不适，是一种较为理想的解决方案。无论是辅助医生在手术时进行导航还是肠镜机器人自主导航都需要识别并引导内镜的运动。在现有技术中，用于内镜导航的方案主要有：

(1)暗区提取法。由于内窥镜在封闭肠腔内前进，光照由远及近，因此暗区是医生判断前进方向最重要也是最显著的指标。该方法基于单帧图像提取轮廓、暗区等特征从而找到腔道的近似中心，以中心点的坐标作为导航的依据，引导医生或机器人往该坐标点方向前进。然而，这种以暗区作为特征进行导航的方法具有很大的局限性，因为该方法仅在腔道清晰可见的情况下适用，且此类方法多数是通过传统的阈值分割、边缘提取等图像处理方法，依赖于单帧图像，不具有全局适应性。

(2)轮廓识别法。轮廓识别法原理基于结肠本身的结构特性，例如利用结肠固有的结肠环形状，计算其曲率指向方向，最终确定腔道中心所指方向。然而这种基于纹理分析的导航方法与暗区提取法的劣势一致，即在图像出现遮挡、模糊等情况发生时鲁棒性差甚至完全不能起作用。此外，当内窥镜距离肠壁太近时，内窥镜头部接收到的光角度过窄，肠道肌肉线和暗区甚至会发生混淆的情况。

(3)三维重建法。三维重建法原理是从图像中获取亮度、轮廓、特征点等信息，最后估计出大致的深度信息，以最深点作为镜头运动的方向。然而，这种三维重建方法多借助二维图像阴影获取深度信息进行重建，因此对光照敏感，最终得出的导航方向误差也较大。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种消化内镜导航方法和系统，以辅助解决传统手术中常出现的腔道丢失问题。

根据本发明的第一方面，提供一种消化内镜导航方法。该方法包括以下步骤：

利用训练数据训练孪生神经网络模型，其中，所述训练数据反映消化内镜连续两帧图像的位移向量分布特征与消化内镜运动模式之间的对应关系，每个位移向量是连续两帧图像关于同一位置的特征点相连；

实时获取消化内镜连续视频流，将连续两帧图像输入到经训练的孪生神经网络模型，以根据位移向量分布特征识别消化内镜的运动模式，并计算相应运动模式下一帧位置坐标，进而输出运动轨迹。

根据本发明的第一方面，提供一种消化内镜导航系统。该系统包括：

训练模块：用于利用训练数据训练孪生神经网络模型，其中，所述训练数据反映消化内镜连续两帧图像的位移向量分布特征与消化内镜运动模式之间的对应关系，每个位移向量是连续两帧图像关于同一位置的特征点相连；

预测模块：用于实时获取消化内镜连续视频流，将连续两帧图像输入到经训练的孪生神经网络模型，以根据位移向量分布特征识别消化内镜的运动模式，并计算相应运动模式下一帧位置坐标，进而输出运动轨迹。