[发明专利]一种基于弱监督相似评估网络的肺部CT图像相似检索方法

说明书

本发明属于图像检索方法以及深度学习网络领域，公开了一种基于弱监督相似评估网络的肺部CT图像相似检索方法，包括WSSENet网络结构，所述WSSENet包括数据集生成器和相似度计算器，方法包括步骤1：基于LUNA16数据集，训练出WSSENet；步骤2：基于WSSENet，实现肺部CT图像的top‑k检索。本发明方法可以从海量的肺部CT图像数据库中寻找与用户提交的CT图像相似的图像，本发明的WSSENet是一种弱监督的相似度评估网络模型，在达到准确评估两张图像相似度的同时可以有效解决在网络训练过程中所需要的数据集标签问题。

技术领域

本发明属于图像检索方法以及深度学习网络领域，尤其涉及一种基于弱监督相似评估网络的肺部CT图像相似检索方法。

背景技术

随着医学图像技术的飞速发展和大数据时代的到来，作为一种重要的医学图像类型之一，高分辨率的肺部CT图像在数量上已经呈现爆炸式增长趋势。如何在这些肺部CT图像大数据中寻找相似的肺部切面图像成为难题。

肺部CT图像整体上相似，不同的图像之间的差异都在像素之间，即实现一种高精度（像素级别）的肺部CT图像相似性检索是本发明需要解决的关键问题。同时，基于深度学习的相似性评估通常需要大量数据及标签，这种标签需要医学专家手动标注图像。众所周知，标注是一种耗时、费力且昂贵的工作，尤其在医学领域方面。针对深度学习网络的标签工作训练也带来巨大挑战。

发明内容

本发明目的在于提供一种基于弱监督相似评估网络的肺部CT图像相似检索方法,以解决上述的技术问题。

为实现上述目的，本发明的基于弱监督相似评估网络的肺部CT图像相似检索方法的具体技术方案如下：

一种基于弱监督相似评估网络的肺部CT图像相似检索方法，包括WSSENet网络结构，所述WSSENet包括数据集生成器和相似度计算器，所述方法包括如下步骤：

步骤1：基于LUNA16数据集，训练出WSSENet；

步骤2：基于WSSENet，实现肺部CT图像的top-k检索。

进一步地，所述数据集生成器中包含空间变换层，用于生成网络训练初始训练集，使接下来的网络训练趋向于不确切监督，即训练样本只有粗粒度的标签；STL负责为每一个输入提供一种基于薄板样条插值的空间变换。

进一步地，所述相似度计算器中包含轮廓相似度计算和细节相似度计算，所述相似度计算器的任务是计算出两张肺部CT图像的相似度S，其中S包括S_p和S_d，S_p表示轮廓相似度，即两张图像在肺实质轮廓形状方面的相似度，是相对低精度的相似度，S_d表示细节相似度，表示两张图像在肺实质内部的毛细血管、结节等软组织形状位置方面的相似度，是相对高精度的相似度；

所述轮廓相似度计算器由Vision Transformer构成，所述细节相似度计算器由resnet18的变体构成，所述resnet18的变体是将全连接层替换成了对位置更加敏感的卷积层。

进一步地，所述步骤1包括步骤1.1：

首先对初始图像M进行预处理，提取出肺部CT图像中的肺实质部分，生成图像I，然后将其输入STL生成轮廓相似度计算器训练所需的数据集以及标签，称为训练集S₁；

通过不同CT值对应在图中的不同灰度值对图像进行二值化，再利用种子填充算法将外部的空气和内部的躯干分割开来，得到肺部掩膜，先膨胀肺部，将小的空洞填充，再腐蚀，恢复原来的大小，最后保留最大的连通域，此时最大的连通域就是肺部，得到预处理后图像I₁；