[发明专利]基于多注意力残差特征融合的医学图像超分辨率重建方法

说明书

一种基于多注意力残差特征融合的医学图像超分辨率重建方法，联合了通道注意力机制和空间注意力机制两个模块，让网络对输入图片的特征进行加权重处理，从而解决输入特征被平等处理而导致网络表征能力不足的问题；提出了残差注意力特征融合模块(RAFF)，将神经网络中局部的特征进行融合，再加上全局的特征融合，可以更充分地利用整个网络中的局部残差特征，从而解决深度神经网络过深而网络学习能力不足的问题。本发明有效地对医学图像进行超分辨率重建，可以提高较深的超分辨率网络的图像超分重建性能。

技术领域

本发明涉及一种基于多注意力残差特征融合的医学图像超分辨率重建方法。

背景技术

近年来，深度卷积神经网络在单幅图像上的超分辨率上取得了非常好的效果，图像超分辨率的一种常见方法是基于实例的方法，该方法利用高分辨率图像和低分辨率图像的信息，生成近似原始高分辨率图像的超分辨率版本。在医学图像上也存在许多使用超分辨率的方法，医学影像的超分辨率重建有助于提高基于计算机辅助的临床医学诊断和疾病定量分析的准确性和客观性，所以，对需要的医学图像进行超分辨率重建是有必要的。

现有技术存在的缺陷为：现有的大部分超分网络都是基于卷积神经网络进行训练的，网络对输入图片的特征是平等处理的，网络虽然学习到了输入图像的特征，但是这些特征并没有差异，从而会降低超分网络的表征能力。并且现有的超分辨率方法主要专注于设计更深的网络结构，却很少挖掘层间特征的相关性，难以充分利用整个网络中的局部特征信息，从而会降低深度神经网络的学习能力。

发明内容

为了克服现有的不足，本发明针对上述的两个问题进行了改进，提出了一种基于多注意力残差特征融合的医学图像超分辨率重建方法，联合了通道注意力机制和空间注意力机制两个模块，让网络对输入图片的特征进行加权重处理，从而解决输入特征被平等处理而导致网络表征能力不足的问题；提出了残差注意力特征融合模块(RAFF)，将神经网络中局部的特征进行融合，再加上全局的特征融合，可以更充分地利用整个网络中的局部残差特征，从而解决深度神经网络过深而网络学习能力不足的问题。

本发明解决其技术问题所采用的技术方案是：

一种基于多注意力残差特征融合的医学图像超分辨率重建方法，联合通道注意力和空间注意力模块，将输入图片的特征从多方面加以权重，再加上局部和全局的残差特征融合并构建了新颖的超分辨率重建方法，包括以下步骤：

1)训练样本的处理：

为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像(即HR)和低分辨率图像(即LR)，本发明先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样，得到256x256分辨率和128x128分辨率的低分辨率数据集。

2)联合多注意力机制：

本发明提出了一种多注意力的超分辨率重建网络。当提取到输入图像的特征H×W×C后，会分别进行Channel attention和Spatial attention的处理，最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’)。本发明在注意力机制前还添加了一个上下文融合模块Combine Context，目的是让输入图像的特征拥有更多的图像上下文信息，具体操作为：输入一张特征图F：H×W×C，先经过一个池化层变为H/r×W/r×C，再经过上采样变为特征图U：H×W×C，此时H×W上每个像素点都含有周围像素点的信息，见公式(1)：

U′＝upsample(Pool(F))+F (1)

然后再将U’分别输入到两个注意力模块。在通道注意力模块中，先进行全局平均池化(GAP)聚合feature map在每个通道的维度，得到了1×1×C大小的特征图，紧接着用一个全连接层将特征通道数降为C/r，再用一个全连接层将其变为1×1×C，得到了通道注意力的权重特征图M_c(U′)，计算过程如公示(2):