[发明专利]基于多CNN组合和模糊神经网络的多模态医学图像融合

权利要求书

1.基于多CNN组合和模糊神经网络的多模态医学图像融合，其特征在于，包括以下步骤：

步骤1，将训练数据集CT和MR图像通过由16个比例和方向不同的Gabor滤波器组成的滤波器组滤波后，得到16个CT和MR的不同Gabor表示对：和然后分别使用每对Gabor表示对：和来训练相应的16个G-CNN，16个G-CNN组成为G-CNNs；

所述G-CNN由特征提取、特征融合和图像重建三部分组成；

所述特征提取：将3×224×224的Gabor^CT和Gabor^MR图像输入到G-CNN中，采用两个卷积层从输入的基于Gabor表示的源图像中提取深度特征，采用在ImageNet上预先训练的高级ResNet101的第一卷积层作为第一卷积层CONV1，CONV1包含64个大小为7×7的卷积核，步长和填充参数分别设置为1和3；加入第二卷积层CONV2，CONV2的核数和核大小分别设置为64和3×3，CONV2的步长和填充参数设置为1，CONV2设置ReLU激活函数和批处理规范化函数，通过两个卷积层的卷积操作，分别得到64个224×224的Gabor^CT和Gabor^MR图像的特征图；

所述特征融合：在融合过程中，利用元素级融合规则来融合多个输入的卷积特征，如公式(4)所示：

式(4)中，N表示输入图像的个数，N≥2，表示CONV2提取的第i个输入图像的特征映射，表示特征融合模块生成的融合特征图，fuse表示元素级融合规则；

所述图像重建：特征融合后，采用两个卷积层CONV3和CONV4从融合的卷积特征重建融合图像，CONV3的核数和核大小分别设置为64和3×3，同样设置与CONV2相同的ReLU激活函数和批处理规范化函数；CONV4通过元素加权平均将特征映射进行重构输出，CONV4的核数和核大小分别设置为3和1×1，步长和填充参数设置为0；通过图像重建的两个卷积层卷积操作后，得到3×224×224的Gabor^CT和Gabor^MR的融合图像；

步骤2，将每对Gabor表示对放入相对应的G-CNN进行初步融合，然后利用模糊神经网络将G-CNNs的多个输出进行融合得到最后的融合图像；

所述模糊神经网络由输入层、模糊划分层、前向组合层、推理层和输出层组成；

在第一层输入层中，十六个神经元x₁，x₂，...，x₁₆是G-CNNs获得的16张Gabor融合图的相同位置表示的特定像素值；

在第二层模糊划分层中，根据像素值将像素划分为五个模糊集：非常暗、暗、正常、亮和非常亮，隶属度函数用来表示模糊集，用高斯函数来表示，如公式(8)所示：

式(8)中，c和σ是高斯函数的中心和宽度，i＝1，2，...16，j＝1，2，...5，不同的模糊集对应于不同的隶属度函数，五种不同的隶属函数依次对应于“非常暗”、“暗”、“正常”、“明亮”和“非常亮”，对于一个特定的像素值，五种隶属度函数有不同的输出μ值，选取最大μ值对应的模糊集作为这个像素值的模糊集；

在第三层前向组合层中，将相同模糊集的节点排列在一起；

在第四层推理层中，其节点是第三层中表示同一个模糊集的十六个节点连接形成，根据所划分的五种模糊集设置了五种模糊规则：当x₁，x₂，...x₁₆像素值暗亮均属于非常暗程度，输出规则为当x₁，x₂，...x₁₆像素值暗亮均属于暗程度，输出规则为当x₁，x₂，...x₁₆像素值暗亮均属于正常程度，输出规则为当x₁，x₂，...x₁₆像素值暗亮均属于亮程度，输出规则为当x₁，x₂，...x₁₆像素值暗亮均属于非常亮程度，输出规则为

在第五层输出层中，神经元基于与输入图像相同的位置来表示融合图像的像素值，为了得到融合后的图像，设置推理层和输出层之间的连接加权因子v如下：

式(9)中，p₀、p₁...p₁₆是加权系数，l＝1，2，3，...5；

通过解模糊函数计算16张Gabor融合图像的像素值，如下所示：

式(10)中，L＝5，R_l是规则输出值。