[发明专利]一种基于卷积神经网络的多尺度医学图像融合方法

说明书

本发明请求保护一种基于卷积神经网络的多尺度医学图像融合方法，包括步骤：S1将配准后的解剖行图像和功能型图像进行局部拉普拉斯滤波处理，分解为细节增强的多尺度近似图像和残差图像；S2将配准后的解剖型图像输入深度卷积神经网络中提取超分辨率解剖型图像；S3将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积，得到一个权重图，结合多尺度近似图像和残差图像融合为多尺度融合图像；S4采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。本发明有效解决了医学图像融合方法在伪彩图像和灰度图像融合时的颜色失真以及信息丢失等问题。

技术领域

本发明属于图像处理技术领域，特别涉及基于卷积神经网络的多尺度医学图像融合方法。

背景技术

医学图像融合方法属于计算机视觉领域，并在医学影像和临床诊断等方面有着广泛的应用。医学图像融合方法主要分为基于单尺度的融合方法和基于多尺度的融合方法两类。

相比于单尺度像素级医学图像融合方法，像素级多尺度医学图像融合方法在不同尺度子带图像上进行图像像素值的特征提取能有效地提高融合图像的质量。基于传统的多尺度融合方法中，基于高斯金字塔的金字塔变换在卷积和降采样操作中会丢失部分细节信息，无法捕捉到方向信息。采用小波变换和复小波变换进行融合，在分解过程中提供了方向信息。然而，基于小波变换的方法受到融合图像模糊的限制。基于平行六面体变换的轮廓波变换、非下采样剪切波、剪切变换等融合方法被提出。这些融合方法的重点是设计过滤器来提取更详细的信息。因此，这些方法需要更高的计算复杂度来优化参数，降低了它们的效率。

近年来，深度学习在医学图像融合方面取得了优异的成绩。但是仅仅依靠深度学习来进行端到端的图像融合，难以令人满意地同时保留源图像的细节信息、色彩信息和亮度信息。并且容易产生伪影，因此结合传统算法和深度学习，利用两者的优势来完成医学图像融合更能达到令人满意的融合效果，能够获取高质量的融合图像。

虽然融合方法很多，但是在实际场景下仍然存在很多挑战，例如噪声影响，待融合图像本身质量，颜色失真，图像伪影问题等。当前的基于卷积神经网络的融合方法，虽然在保留纹理和颜色信息上有很大的提高，但是由于局部拉普拉斯算法的参与，该融合方法对于实时性仍存在一定问题。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于卷积神经网络的多尺度医学图像融合方法。本发明的技术方案如下：

一种基于卷积神经网络的多尺度医学图像融合方法，其包括以下步骤；

S1、将解剖型图像(MRI图像)和功能型图像(PET/SPECT图像)进行局部拉普拉斯滤波处理，分解为细节增强的多尺度近似图像和残差图像；

S2、将解剖型图像输入20层的深度卷积神经网络中提取超分辨率解剖型图像；

S3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积，得到一个权重图，结合多尺度近似图像和残差图像融合为多尺度融合图像；

S4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。

进一步的，所述步骤S1的图像分解以局部拉普拉斯滤波器为工具，并且仅输出三个不同尺度的解剖型图像(A)以及功能型图像(B)，分别为(A₁，B₁)、(A₂，B₂)、(A₃，B₃)，尺寸分别为：256×256、128×128、64×64。

进一步的，所述S2的超分辨率图像S直接通过叠加深度卷积神经网络VDSR提取出的特征图F和卷积过程中的残差图像R得到，计算公式为：

S＝F+R。