[发明专利]一种消化道共聚焦图像拼接方法

说明书

一种消化道共聚焦图像拼接方法，所述方法包括步骤：获取消化道共聚焦原始图像；根据所述消化道共聚焦原始图像生成分割神经网络；根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；根据所述消化道共聚焦前景图像生成稳像前景图像；根据所述稳像前景图像生成单应性矩阵；获取所述稳像前景图像对应的所述消化道共聚焦原始图像；根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。本申请降低了对采集拼接的原始图像的采集条件，可以有效降低因光纤束纤芯损坏形成的图像噪点对拼接图像质量的影响；可以降低共聚焦内窥镜图像拼接的设备和操作要求，提高拼接算法鲁棒性。

技术领域

本发明属于医学图像处理技术领域，具体涉及一种消化道共聚焦图像拼接方法。

背景技术

共聚焦内窥镜手术视场小，且位移灵敏度高，操作者难以再次定位和稳定观察病灶。解决办法之一是依靠图像拼接算法，图像拼接算法可以通过判断相邻帧图像的共同特征将相邻帧图像拼接成全景图以解决视场过小的问题。

Brown M等使用基于Sift特征的全局单应性矩阵对齐算法Auto-Stitch而成为解决图像拼接问题的里程碑。进一步的，Yi K M等提出LIFT-Net算法，也即使用三个神经网络分别进行特征点检测、方向匹配和描述子生成。XHan等提出MatchNet算法，也即使用双塔结构提取特征，并由三个全连接层组成网络计算所提取特征之间的相似性。使用神经网络代替如Sift特征等角点特征，但是额外或更准确地特征点对，无法处理立体空间下各帧图片光心不重合导致的视差。为解决这个问题，Gao J等提出DHW算法，也即将场景划分为背景平面和前景平面，用两个单应性矩阵分别对齐前景和背景。但是DHW算法依靠特征点聚类算法划分前景和背景，面对前景背景划分复杂的图片无法有效地区分前景和背景区域。

同时，由于共聚焦逐行激活成像原理，共聚焦图像并不是同时成像，因此在移动共聚焦内窥镜探头时会出现果冻效应而干扰图像拼接效果。TVercauteren的微分同胚算法需要基于对应探头的扫描速度建模以补正果冻效应影响；Lun Gong使用的光流法拼接需要相邻帧图片满足一定重叠需求。这些算法都存在一定的缺陷。

发明内容

鉴于上述问题，本发明提供克服上述问题或者至少部分地解决上述问题的一种消化道共聚焦图像拼接方法。

为解决上述技术问题，本发明提供了一种消化道共聚焦图像拼接方法，所述方法包括步骤：

获取消化道共聚焦原始图像；

根据所述消化道共聚焦原始图像生成分割神经网络；

根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；

根据所述消化道共聚焦前景图像生成稳像前景图像；

根据所述稳像前景图像生成单应性矩阵；

获取所述稳像前景图像对应的所述消化道共聚焦原始图像；

根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。

优选地，所述获取消化道共聚焦原始图像包括步骤：

准备共聚焦内窥镜成像系统；

使用所述共聚焦内窥镜成像系统拍摄消化道共聚焦视频；

将所述消化道共聚焦视频逐帧转化为图像；

按照时间顺序对所述图像进行升序排列；

得到所述消化道共聚焦原始图像。

优选地，所述根据所述消化道共聚焦原始图像生成分割神经网络包括步骤：

选择预设数量的所述消化道共聚焦原始图像组成图像分割神经网络数据集；