[发明专利]一种基于双残差超密集网络的多模态医学图像融合方法

说明书

本发明公开了一种基于双残差超密集网络的多模态医学图像融合方法，包括：通过在双残差超密集网络中的第一Conv层卷积和PReLU层激活，提取第一模态医学图像和第二模态医学图像的浅层特征；通过残差学习和超密集连接，提取深层特征；对深层特征依次进行双残差超密集网络中的Concat层通道维度上拼接、最后Conv层卷积、PReLU层激活，获得第一模态医学图像和第二模态医学图像的融合图像。本发明通过将残差密集块与超密集连接结合提出的双残差超密集块不仅将密集连接应用到同一路径的层之间，还运用到跨不同路径的层之间，在提取不同模态图像特征的两个路径间进行信息传递，使得提取到的深层特征更详细丰富，减少了网络中间层有用信息的丢失。

技术领域

本发明涉及医学图像融合技术领域，更具体的涉及一种基于双残差超密集网络的多模态医学图像融合方法。

背景技术

图像融合应用广泛，如医学成像，遥感、机器视觉，生物识别和军事应用。融合的目的是获得更好的对比度和感知体验。近年来，随着临床应用需求的不断增加，多模态医学图像融合的研究备受关注。多模态医学图像融合的目的是提供一个更好的医疗图像，帮助医生进行外科干预。

目前，医学图像有多种模态，如磁共振(MR)图像，计算机断层扫描(CT)图像，正电子发射断层扫描(PET)图像和X射线图像等，不同模态的图像有其自身的优点和局限性，例如，CT能很好地显示骨骼信息，但不能清晰的展示软组织等结构信息；MR图像能充分显示软组织信息，但其对骨骼信息的探测有很大缺陷；PET图像可为临床提供丰富的人体代谢信息，但分辨率较低。因此，把多种模态的医学图像信息结合起来，完成多模态图像融合，可以实现优势互补。多模态融合图像既保留了原始图像的特征，又弥补了单模态医学图像的缺陷，展示了更加丰富的细节信息，为临床诊断治疗和图像引导手术提供了全面的信息。

图像融合方法分为三个层次：像素级、特征级、决策级。像素级的图像融合是将两个或多个源图像对应的各点像素值通过一定的融合方法合并计算出一个新的像素值，这样各点像素都进行融合后形成一幅新的融合图像。常用的像素级图像融合方法有基于空间域的融合方法和基于变换域的融合方法。基于空间域的图像融合主要分为基于块的融合和基于区域的融合，包括逻辑滤波法、加权平均法、数学形态法、图像代数法和模拟退火法等，其计算量小，容易实现，但准确度较差，不适用于医学图像领域。基于变换域的方法是先分解源图像，再利用不同的融合规则组合分解后的源图像，最后执行反变换操作来重建融合图像，包括金字塔图像融合法、小波变换图像融合法和多尺度分解法等，其不仅可以保持对比度、减小块效应，而且在描述信号的局部特征时有独特优势。特征级的图像融合方法是从源图像中将观察者感兴趣的特征信息提取出来，如边缘、轮廓、形状、局部特征等信息，然后对这些特征信息进行分析、处理与整合从而得到融合后的图像特征。目前常用的方法有：加权平均法、贝叶斯估计法、聚类分析法。决策级的图像融合方法是对每个图像的特征信息进行分析、推理、识别和判决等处理，形成相应的结果，再进一步融合，最终的融合结果是全局最优决策。这种方法实时性好，灵活性高，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失较多。

近年来，深度学习以其强大的特征提取和数据表达能力在图像处理领域得到了广泛的应用，减少了特征级图像融合方法丢失细节信息的缺点，并取得了很好的结果。例如，利用脉冲耦合神经网络(Pulse Couple Neural Network，PCNN)结合稀疏表示进行医学图像融合，利用卷积神经网络(Convolutional Neural Network，CNN)进行图像融合，利用生成对抗网络(Generative Adversarial Networks，GAN)进行图像融合，Huang等人提出密集网络(Densenet)，He等人提出残差网络(Resnet)，Qiu等人提出一种双残差密集网络用于图像融合，提高了融合图像的空间分辨率。