[发明专利]一种融合多种注意力机制神经网络的结直肠息肉分割方法

权利要求书

1.一种融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，包括以下步骤：

1)收集多种类型内窥镜下结直肠息肉图像，并进行图像增强，组成训练样本；

2)构建包含多种注意力机制的神经网络，其中包含特征提取模块、通道分组空间增强模块、轴向自注意力结合感受野增强模块和逆向注意力边界增强模块；

3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；

4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。

2.如权利要求1所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，步骤1)具体过程如下：

步骤1.1)收集内窥镜下结直肠息肉图像数据集；

步骤1.2)通过线性插值插值方法将图像分辨率调整为352×352，并将数据集分为训练数据和测试数据两部分；

步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。

3.如权利要求1所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，步骤2)中通道分组空间增强模块、轴向自注意力结合感受野增强模块和逆向注意力边界增强模块的构建具体过程如下：

步骤2.1)构建通道分组空间增强模块：每个独立的分组在空间中位置的特征向量用x_i表示，X＝{x_1...m},m＝H×W，其中C代表骨干网络输出的特征图通道数，H×W表示特征图的大小，G代表分组数，表示像素所在的空间域；根据实验设置的批处理大小，并结合每一层骨干网络得到的特征图通道数，同时防止过小的分组造成特征细节缺失，当得到的特征图通道数分别为512,1024,2048时，将分组数G分别设置为32,64,128；首先对每个分组都先进行全局最大平均池化，以此逼近每个分组的学习到的特征语义向量并抑制可能存在的噪声，即:

接着利用这个全局特征GF和局部特征x_i进行点积运算生成每一个子特征对应的注意力系数c_i，c_i＝GF·x_i，即比较每一个子特征和全局特征的相似性；同时为了防止各种不同样本之间的系数的偏差幅度过大，对系数c_i做了归一化得到注意力特征图a_i，即：

其中ò为常数1e^-5,c_j表示空间中另外一个子特征的注意力系数，j表示空间中另外一个子特征，最后a_i通过sigmoid激活函数得到最终增强的特征分组y_i；

步骤2.2)构建轴向自注意力感受野增强模块：先将输入的特征图分别经过1×3、1×5、1×7、1×1卷积层的感受野路径,再各自通过空洞率为3、5、7、1的空洞卷积层扩大感受野后进入轴向自注意力模块,最后与1×1感受野路径的特征图进行通道拼接后输出；

步骤2.3)构建逆向注意力边界增强模块：将从解码器中的得到的特征图视为m_d,并以此得到对应的前景特征图m_f和背景特征图m_b，其中

m_f＝max(m_d-0.5,0),m_b＝max(0.5-m_d,0)

然后计算每个特征图的特征向量：

v_f，v_b，，v_d分别代表来自前景，背景和解码器的特征图对应的特征向量，i代表在空间维度的每一个像素，e代表自然常数，然后计算每一个以上特征向量和来自编码器的特征图的相似性；

然后通过权重加总得到得到每个特征向量的相似性分数k_f，k_b，k_d；再通过加权平均得到语义特征图中的每个像素p_i；

p_i＝δ(k_fiρ(v_f)+k_biρ(v_b)+k_diρ(v_d))

ψ(·)，φ(·)，ρ(·)，δ(·)都代表卷积操作；最后将语义特征图p和编码器的输入特征进行通道拼接后得到最终的语义特征图。

4.如权利要求1所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，步骤3)具体过程如下：

步骤3.1)构建融合多种注意力机制神经网络的结直肠息肉分割模型，采用Adam优化器结合余弦退火策略进行优化，初始学习率设置为0.0001，网络的损失函数L设置为：

L＝L_BCE+L_IoU

其中，i表示每一个在图像中的像素，y表示息肉标签图像，表示网络预测输出图像；

步骤3.2)微调模型，通过加载在测试集中精度最高的模型，得到息肉分割图像结果；

步骤3.3)测试训练后模型的分割性能，使用测试集验验证训练后模型的分割效果；通过和原始的标签图进行对比，从主观视觉效果及客观评价指标上对模型的分割效果进行评估。