[发明专利]内镜图像特征点提取方法

说明书

本发明涉及一种内镜图像特征点提取方法，属于图像处理领域，尤其涉及内镜图像特征点提取方法。包括对于有重叠区域的两张图像，利用光流法找出两张图像的重叠区域，将光流法获得的像素匹配关系作为卷积神经网络的参考；然后分别将第一图像和第二图像输入卷积神经网络，从而检测出第一图像和第二图像中的特征点以及特征点对应的描述子；在训练阶段，利用损失函数是否收敛或者是否达到设定的训练次数时，获得最终训练好的模型。本发明是利用卷积神经网络通过学习的方式对消化内镜采集的图像进行特征点提取与描述，以解决传统特征提取方法在消化道采集的图像上特征点提取不足而导致无法完成消化内镜镜头位姿解算的问题。

技术领域

本发明属于图像处理领域，尤其涉及内镜图像特征点提取方法。

背景技术

消化道内窥镜检查是微创外科手术和消化道病灶诊断中最重要的筛查手段，消化内 镜的定位可为医生提供消化内镜的追踪，消化内镜图像的特征点提取与匹配能实现消化 内镜镜头位姿的解算，从而实现对消化内镜的定位与导航。

目前的消化内镜图像的特征点提取与匹配，主要包括以下几种：

对于纹理较丰富，成像质量较好的消化内镜图像，直接应用SIFT(尺度不变特征变换)等算法从图像中检测特征点并对特征点进行描述；

对于弱纹理的消化内镜图像，则需要对消化道内壁做额外的处理，例如往消化道内 壁上发射激光点，然后再应用SIFT(尺度不变特征变换)等算法检测图像中的激光点并对检测的特征点进行描述，或者往消化道表面的血管内注入合适的染色剂以丰富消化道表面纹理，然后再应用SIFT(尺度不变特征变换)等算法检测图像中的特征点并对其进 行描述。

对于可以直接应用SIFT(尺度不变特征变换)等算法进行特征点提取与描述的场景， 由于SIFT(尺度不变特征变换)算法的计算复杂度较高，在一些实时性要求高的场景中无法使用；

对于弱纹理的消化内镜图像，需要对消化道内壁做额外的处理或者需要对消化内镜 做额外的处理(如在消化内镜上增加发射激光的光源通道等)，这种额外的处理增加了时 间与成本。

发明内容

本发明的目的是利用卷积神经网络通过学习的方式对消化内镜采集的图像进行特征 点提取与描述，以解决传统特征提取方法在消化道采集的图像上特征点提取不足而导致 无法完成消化内镜镜头位姿解算的问题。

为解决以上现有技术中存在的问题，本发明提出了一种内镜图像特征点提取方法， 包括：

对于有重叠区域的两张图像，利用光流法找出两张图像的重叠区域，并将光流法获 得的像素匹配关系作为卷积神经网络的参考；

分别将第一图像和第二图像输入卷积神经网络，从而检测出第一图像和第二图像中 的特征点以及特征点对应的描述子；

在训练阶段，利用损失函数是否收敛或者是否达到设定的训练次数时，获得最终训 练好的模型。

优选地，所述对于有重叠区域的两张图像，利用光流法找出两张图像的重叠区域具 体包括找出第一张图像中属于同一个场景点成的像在第二张图像中的位置。

优选地，所述分别将第一图像和第二图像输入卷积神经网络，从而检测出第一图像 和第二图像中的特征点以及特征点对应的描述子，输出特征点的分支包括两个特征图，一个特征图关于特征点的可靠性，另一个特征图关于特征点重复性的。

优选地，所述卷积神经网络结构包括依次连接的9层，并且在特定的卷积层中设置用于降低卷积神经网络的参数以及自由调整通道数的卷积核的卷积层。

优选地，所述在训练阶段，利用损失函数是否收敛或者是否达到设定的训练次数时， 获得最终训练好的模型具体包括判断卷积神经网络学习到的特征点及其描述子的匹配关 系与光流法给出的匹配关系是否一致,若不一致，则需要更新卷积神经网络的参数。