[发明专利]基于多CNN组合和模糊神经网络的多模态医学图像融合

说明书

本发明属于医学图像融合领域，具体涉及基于多CNN组合和模糊神经网络的多模态医学图像融合。为了将多模态医学图像中病灶部位的纹理细节表征更充分，边缘更清晰，本发明提出的方法主要有两部分组成：1)构建G‑CNN组(G‑CNNs)；2)基于模糊神经网络的G‑CNNs融合。第一部分首先通过一组比例和方向不同的Gabor滤波器获得CT和MR的不同Gabor表示对，然后分别使用每对不同的Gabor表示训练相应的CNN，从而生成G‑CNNs；第二部分利用模糊神经网络将G‑CNNs的多个输出进行融合得到最后的融合图像。

技术领域

本发明属于医学图像融合领域，具体涉及基于多CNN组合和模糊神经网络的多模态医学图像融合。

背景技术

图像融合有广泛的应用，如医学成像，遥感、机器视觉，生物识别和军事应用。融合的目的是获得更好的对比度和感知体验。近年来，随着临床应用需求的不断增加，多模态医学图像融合的研究备受关注。多模态医学图像融合的目的是提供一个更好的医疗图像，帮助医生进行外科干预。

如今医学图像有多种模态，如磁共振(MR)图像，计算机断层扫描(CT)图像，正电子发射断层扫描(PET)图像和X射线图像等，不同模态的图像有其自身的优点和局限性，例如，CT能很好地显示骨骼信息，但不能清晰的展示软组织等结构信息；MR图像能充分显示软组织信息，但其对骨骼信息的探测有很大缺陷；PET图像可为临床提供丰富的人体代谢信息，但分辨率较低。因此，把多种模态的医学图像信息结合起来，完成多模态图像融合，可以实现优势互补。多模态融合图像既保留了原始图像的特征，又弥补了单模态医学图像的缺陷，展示了更加丰富的细节信息，为临床诊断治疗和图像引导手术提供了全面的信息。

图像融合方法分为三个层次：像素级、特征级、决策级。像素级的图像融合是将两个或多个源图像对应的各点像素值通过一定的融合方法合并计算出一个新的像素值，这样各点像素都进行融合后形成一幅新的融合图像。常用的像素级图像融合方法有基于空间域的融合方法和基于变换域的融合方法。基于空间域的图像融合主要分为基于块的融合和基于区域的融合，包括逻辑滤波法、加权平均法、数学形态法、图像代数法和模拟退火法等，其计算量小，容易实现，但准确度较差，不适用于医学图像领域。基于变换域的方法是先分解源图像，再利用不同的融合规则组合分解后的源图像，最后执行反变换操作来重建融合图像，包括金字塔图像融合法、小波变换图像融合法和多尺度分解法等，其不仅可以保持对比度、减小块效应，而且在描述信号的局部特征时有独特优势。

特征级的图像融合方法是从源图像中将观察者感兴趣的特征信息提取出来，如边缘、轮廓、形状、局部特征等信息，然后对这些特征信息进行分析、处理与整合从而得到融合后的图像特征。目前常用的方法有：加权平均法、贝叶斯估计法、聚类分析法。

决策级的图像融合方法是对每个图像的特征信息进行分析、推理、识别和判决等处理，形成相应的结果，再进一步融合，最终的融合结果是全局最优决策。这种方法实时性好，灵活性高，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失较多。

近年来，随着深度学习的兴起，卷积神经网络(CNN)作为深度学习的重要分支，具有比传统方法更强的特征提取能力，适用于图像融合。

基于空间域的融合方法会使融合图像的光谱失真和空间失真，不利于医生观察病灶区域的病变情况。基于变换域融合方法中的金字塔变换未能在分解过程中引入空间方向选择性，从而产生具有块效应的图像，并且在融合图像的边缘中引入许多伪影影响融合结果；小波变换只能捕获有限的方向信息，在边缘和纹理区域获取信息有限，无法清晰表征图像的边缘。