[发明专利]一种基于迁移学习和注意力机制的肺部CT图像分割方法

权利要求书

1.一种基于多注意力机制的可变形卷积肺部CT图像分割方法，包含以下步骤：

步骤1)对所选的数据集数据增广和数据预处理；

首先读取所选的患有新冠肺炎的患者肺部CT图像数据集，然后将图像进行随机裁剪、反转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强；数据增强让有限的数据产生更多的数据，增加训练样本的数量以及多样性，提升模型鲁棒性，一般用于训练集；最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响；

步骤2)构建网络模型；

构建分割模型DCSegNet；分割模型DCSegNet包括一个主干网络和三个关键模块，即ResNet主干网络、边缘注意力模块(Edge Attention Module)、自适应可形变卷积模块(Adaptive Deformable Convolution)和双重注意力融合模块(Dual-attention fusionmodule)；

使用预训练过的ResNet50的前四层作为DCSegNet的编码器；首先从主干网络的不同层级中提取多层次特征；低级特征来源于浅层网络，富含空间信息，此时的感受野比较小，我们采用EAM模块提取边缘信息；高级特征来源于深层网络，富含语义信息，通过ADC模块自适应感受野，采样得到更符合病灶区域的形状和尺寸；最后通过DFM模块融合低级和高级特征来预测分割图；

2.1.构建EAM模块：

边缘信息作为一种重要的图像特征，在深度学习领域受到越来越多的关注，因为边缘信息有助于在分割任务中提取目标轮廓；通常边缘信息可以提供有用的细粒度约束来指导语义分割任务中的特征提取；高级特征几乎没有边缘信息，而低级特征包含更丰富的对象边界；因此引入边缘注意力模块(Edge Attention Module)来抑制没有空间相关性的区域边缘特征信息，提高目标区域边缘特征的权重比，提高网络分割精度；

f_RB表示从主干中提取的特征，将其先通过卷积核大小为3×3的卷积单元，然后通过ReLU激活函数之后，再通过卷积核大小为3×3扩张率为2的空洞卷积单元；将这一操作重复三次之后，最后再通过1×1的卷积单元得到f_EAM；

2.2.构建ADC模块：

在CT图像上，病灶的形状大小不规则，自适应可形变卷积模块(Adaptive DeformableConvolution)能在网络中学习卷积参数和坐标偏移，从而自适应感受野；使用3×3卷积核来描述可形变过程；

G＝{(-1,-1),(-1,0),(-1,1), (0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)} (1)

I＝{(i_h,i_w),(i_h,i_w),(i_h,i_w), (i_h,i_w),(i_h,i_w),(i_h,i_w), (i_h,i_w),(i_h,i_w),(i_h,i_w)} (2)

G_i＝G+I (3)

Y[i]＝Conv(X[G_i],k_i) (4)

其中G表示特征图的网格，I表示特征图的坐标，h和w代表特征图的两个维度，G_i代表核卷积的区域，Conv是普通卷积函数，k_i是3×3核的九个可学习权重，通过新位置的新值X[G_i]和权重k_i最终输出对应像素Y[i]的值；

2.3构建DFM模块：

为了有效地融合EAM模块和ADC模块所提取的丰富特征，提出DFM模块(Dual-attentionfusion module)，DFM模块通过将上层特征生成的特征图来增强下层特征，然后将增强的下层特征与上层特征集成；同时将空间注意力机制(SA)和通道注意力机制(CA)相结合，在CA中采用全局平均池化，经过1×1卷积和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；在SA中采用最大池化，经过ReLU和Sigmoid函数后，分别采用元素乘法和元素加法与输入结合；用数学公式表达，将DFM模块定义为：

其中Conv表示卷积层，下标代表卷积核尺寸，Deconv(x)表示上采样操作，ReLU(x)表示激活函数ReLU，σ(x)表示Sigmoid激活函数，和代表第k级和第k+1级ADC模块提供的特征，k＝1,2,3；符号*表示元素乘法，GAPool(x)表示全局平均池化操作，MaxPool(x)表示最大池化操作；

步骤3)设置训练策略；

将经过预处理的数据集以6:3:1的比例依次划分为训练集、测试集和验证集；采用随机初始化和Adam优化算法；设置BatchSize、epoch和合适的初始学习率和每次更新时学习率下降的值，并采用正则化策略防止过拟合；DCSegNet网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；

步骤4)训练网络模型和更新参数；

根据设置好的训练策略对U-Net网络模型进行训练；DCSegNet网络模型中采用反向传播算法(BP)对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；在损失函数的选择上，将骰子损失(Dice Loss)和二元交叉熵损失(Binary CrossEntropy Loss)结合进行参数更新；因此，损失函数被设计为

步骤5)设置评估指标；

使用4个广泛采用的评价标准用于衡量DCSegNet模型的性能；评估指标如下所示：

骰子相似系数(Dice similarity coefficient)：DSC用于测量预测的肺部感染与事实之间的相似性，其中V_Seg代表通过模型算法分割后的区域，V_GT代表事实的分割区域，TP、TN、FP、FN分别表示真阳性、真阴性、假阳性、假阴性；DSC定义如下：

灵敏度(Sensitivity)：SEN表示被正确分割的肺部感染的百分比；其定义如下：

特异性(Specificity)：SPE表示被正确分割的非感染区域的百分比；其定义如下：

阳性预测值(Precision)：PRE表示肺部感染区分割的准确性，其定义如下：

步骤6)验证和使用已训练好的网络模型；

将已经分割好的验证集送入训练好的DCSegNet网络模型，输出的结果会将Covid-19的肺部CT图中病灶的部分分割出来，最后得到已分割的图像，证明得到的模型是可行的。