[发明专利]基于多尺度机制和残差注意力的医学图像融合方法及介质

说明书

本发明请求保护基于多尺度机制和残差注意力的医学图像融合方法及介质，所述方法包括步骤：S1将配准后的解剖型图像和功能型图像输入到大小为1×1的卷积核，增加输入特征的维数；S2将配准后的解剖型图像和功能型图像分别输入到两个分支的多尺度机制中，提取它们在不同尺度上的特征图，接着将提取的特征图输入到残差注意力网络中，进一步提取输入图像的特征；S3将提取的解剖图像和功能图像的特征图进行融合；S4将融合后的特征图通过三层卷积进行重构，得到最终的融和图像。本发明有效解决了医学图像融合方法在伪彩图像和灰度图像融合时的信息丢失以及颜色失真等问题。

技术领域

本发明属于图像处理技术领域，特别涉及基于多尺度残差注意的医学图像融合方法。

背景技术

医学图像融合方法属于计算机视觉领域，为了消除单模态图像在信息表达上的局限性，通过不同的融合算法将多模态医学图像进行融合。多尺度变换是对人类视觉的近似和模拟。常用的多尺度变换算法包括金字塔、小波、非下采样轮廓波、非下采样剪切波。

基于拉普拉斯金字塔的图像融合方法具有不同尺度和不同分辨率的显著特征，能够获得接近人类视觉特性的融合效果。但是基于金字塔的方法存在块效应，缺乏方向性，往往导致图像的边缘细节模糊。小波变换通过图像分解保存信息，可以提升图像的质量。但是它缺乏平移不变性特性，不能很好的表示各向异性特征。NSCT和NSST方法具有多方向性、各向异性和平移不变性。然而，NSCT、NSST细节捕捉能力较差，容易遗漏细微的细节信息，不能很好的表现图像的局部变化特征。这些传统方法都广泛应用于医学图像融合，但是也有缺陷存在。对于多尺度分解方法，其中一个问题就是很难确定分解级数，级数太小无法获得足够的空间信息。分解级数太大了就会导致融合图像时对噪声和误配准过于敏感。这些方法的模型较复杂，运行效率低。机器学习算法被应用于完成不同的图像融合任务，并取得了令人满意的结果。稀疏表示通过优化过完备字典和稀疏系数来实现图像融合。但是，稀疏表示需要足够大的训练样本空间，计算量和复杂度较高。近年来，随着深度学习的发展，基于深度网络的方法在图像领域取得了巨大的成功。深度学习方法具有捕获特征的能力，卷积神经网络可用于获取图像的特征和重建图像。基于卷积神经网络的医学图像融合算法(Multiscale DenseNet,MSDNet)提升了融合图像的细节。基于卷积神经网络的医学图像融合方法层出不穷。

虽然融合方法很多，但是在实际场景下仍然存在很多挑战，例如噪声影响，待融合图像本身质量，颜色失真，图像伪影问题等。当前的基于卷积神经网络的融合方法，虽然在保留纹理和颜色信息上有很大的提高，但是基于卷积神经网络的算法得到的融合图像通常过于平滑。

发明内容

本发明旨在解决以上现有技术的问题。提出了基于多尺度机制和残差注意力的医学图像融合方法及介质。本发明的技术方案如下：

一种基于多尺度机制和残差注意力的医学图像融合方法，其包括以下步骤：

S1、获取解剖型医学图像和功能型医学图像，将解剖型医学图像和功能型医学图像输入到大小为1×1的卷积核；

S2、将配准后的解剖型医学图像和功能型医学图像分别输入到两个分支的多尺度机制中，第一个分支提取它们在不同尺度上的特征图，第二个分支由多个卷积层构成，接着将提取的特征图输入到残差注意力网络中，再次提取解剖型医学图像和功能型医学图像的特征；

S3、将提取的解剖型医学图像和功能型医学图像的特征图进行融合；

S4、将融合后的特征图通过三层卷积进行重构，得到最终的医学融合图像。

进一步的，所述步骤S1的卷积核大小为1×1，将输入图像的维度增加到64维。