[发明专利]基于多注意力残差特征融合的医学图像超分辨率重建方法

权利要求书

1.一种基于多注意力残差特征融合的医学图像超分辨率重建方法，其特点在于，所述方法包括以下步骤：

1)训练样本的处理：

为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像HR和低分辨率图像LR，先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样，得到256x256分辨率和128x128分辨率的低分辨率数据集。

2)联合多注意力机制：

当提取到输入图像的特征H×W×C后，会分别进行Channel attention和Spatialattention的处理，最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’)；在注意力机制前还添加了一个上下文融合模块Combine Context，目的是让输入图像的特征拥有更多的图像上下文信息，操作为：输入一张特征图F：H×W×C，先经过一个池化层变为H/r×W/r×C，再经过上采样变为特征图U：H×W×C，此时H×W上每个像素点都含有周围像素点的信息，见公式(1)：

U′＝upsample(Pool(F))+F (1)

然后再将U’分别输入到两个注意力模块。在通道注意力模块中，先进行全局平均池化GAP聚合feature map在每个通道的维度，得到了1×1×C大小的特征图，紧接着用一个全连接层将特征通道数降为C/r，再用一个全连接层将其变为1×1×C，得到了通道注意力的权重特征图M_c(U′)，计算过程如公示(2):

M_c(U′)＝BN(FC₂(FC₁(AvgPool(U′)))) (2)

在空间注意力模块中，先用1x1的卷基层将特征通道压缩一半，再紧接一个3x3的卷基层和一个1x1的卷基层将特征变为H×W×1，得到了空间注意力的权重特征图M_s(U′)，计算过程如公式(3)：

然后将两个注意力分支中获取到的权重特征图融合起来，由于这两张注意力特征图的形状不一样，于是先将两者扩展到H×W×C，然后再将它们逐项求和，求和后，取一个Sigmoid函数σ，将数值控制到0到1范围内，得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’)，如公式(4)：

M(U′)＝σ(M_c(U′)+M_s(U′)) (4)

再将该三维注意力图与最开始的输入特征F相乘，然后再将其添加到F上，得到带有双重注意力权重的特征图F’，图1的整个过程称为CCDA，如公式(5)：

3)局部和全局残差特征融合，网络框架有三个模块构成：Head、Body和Tail，过程如下：

3.1)、Head module模块使用一个卷基层提取输入图像的初始特征图，描述为公式(6)：

F₀＝H(I_LR) (6)

其中I_LR表示输入图像，F₀表示提取到的浅层特征，H表示提取输入图浅层特征的卷积操作；

3.2、Body module模块包含了G个CCDA模块，在网络结构中加入了局部特征融合，将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚，这样最后的特征图不仅拥有网络最终输入的结果还会有网络中间结果的信息，此外，在body module的最后还加入了一个全局的特征融合，用于融合F₀和F_DF的特征，还具有加速训练收敛的作用，该过程描述为公式(7)：

F_DF＝H_RAFF(F₀)＝F₀+B_g(F_g-1(…))+B_g-1(F_g-2(…))+…+B₀(F₀) (7)

其中F_DF表示提取到的深层特征，H_RAFF表示本发明提出的残差注意力特征融合模块(Residual Attention Feature Fusion)，其中包含了G个CCDA模块，B_g表示第g个堆叠的CCDA Block。

3.3、Tail module模块包含上采样模块和重建模块，以Head和Body的输出作为输入，输出重建图像，该部分描述为公式(8)：

其中I_SR表示最终超分辨率重建的图像，H_UP表示上采样模块，H_REC表示重建模块，I_LR是输入给神经网络的低分辨率图；

最后用L₁损失函数对该网络模型进行优化，给定一个训练集其中包含N张输入的低分辨率LR图，以及对应的N张HR图，网络的训练目标是最小化L₁损失函数，描述为公式(9)：

其中，θ表示该网络的参数集，并采用随机梯度下降的方法对损失函数进行了优化。