[发明专利]一种基于全局信息融合的多模态医学图像融合方法

权利要求书

1.一种基于全局信息融合的多模态医学图像融合方法，其特征包括如下步骤：

步骤一、获取M个不同模态的原始医学图像并进行YCbCr色彩空间的转换，得到所有模态的Y通道图像{I₁,…,I_m…,I_M}；其中，I_m表示第m个模态的Y通道图像，m∈{1,2,…,M}；对所有模态的Y通道图像{I₁,…,I_m…,I_M}进行图像剪切，从而得到所有模态的图像块集合{S₁,…,S_m…,S_M}，其中，S_m表示第m个模态的图像块集合；

步骤二、构建融合网络TransFusion，包括：M个模态分支网络、N个融合模块、一个重构模块；并将所有模态的图像块集合{S₁,…,S_m…,S_M}输入所述融合网络TransFusion中：

步骤2.1、构建所述M个模态分支网络和N个融合模块：

步骤2.1.1、构建M个模态分支网络：

M个模态分支网络中的第m个模态分支网络由N个卷积模块组成，并将N个卷积模块分别记为ConvBlock_m1,…,COnvBlock_mn,…,ConvBlock_mN，其中，ConvBlock_mn表示第m个模态分支网络的第n个卷积模块，n∈{1,2,…,N}；

当n＝1时，所述第m个模态分支网络的第n个卷积模块ConvBlock_mn由X_mn个二维卷积层组成；

当n＝2,3,…,N时，所述第m个模态分支网络的第n个卷积模块ConvBlock_mn由一个最大池化层和X_mn个二维卷积层组成；

第m个模态分支网络的第n个卷积模块的第x个二维卷积层的卷积核尺寸为ks_mnx×ks_mnx，卷积核数目为kn_mnx，x∈{1,2,…,X_mn}；

步骤2.1.2、构建N个融合模块：

N个融合模块的任意第n个融合模块为一个Transformer网络，并由L个自注意力机制模块构成；L个自注意力机制模块中的第l个自注意力机制模块包括：1个多头注意力层、2个层归一化、1个全连接层；

步骤2.2、将所有模态的图像块集合{S₁,…,S_m…,S_M}输入M个模态分支网络中，并通过N个融合模块进行信息融合：

当n＝1时，所述第m个模态的图像块集合S_m输入所述第m个模态分支网络的第n个卷积模块ConvBlock_mn的X_mn个二维卷积层后输出特征图其中，Hⁿ、Wⁿ、Dⁿ分别表示第m个模态分支网络在第n个卷积模块的输出特征图的高、宽、通道数；从而得到M个模态分支网络在第n个卷积模块的输出特征图

将所述M个模态分支网络在第n个卷积模块的输出特征图经过第n个融合模块处理后，输出特征图其中，表示第n个融合模块输出的第m个特征图；

将所述第n个融合模块输出的第m个特征图与所述第m个模态分支网络的第n个卷积模块输出的特征图进行相加，得到第m个模态分支网络在第n个卷积模块交互后的特征图从而得到M个模态分支网络在第n个卷积模块交互后的特征图当n＝2,3,…,N时，将第m个模态分支网络在第n-1个卷积模块交互后的特征图输入到第m个模态分支网络的第n个卷积模块的最大池化层中进行下采样处理，得到第m个模态分支网络在第n个卷积模块下采样后的特征图将所述下采样后的特征图输入第m个模态分支网络的第n个卷积模块的第1个二维卷积层中，并依次经过X_mn个二维卷积层的处理后，输出特征图从而得到M个模态分支网络的第n个卷积模块输出的特征图将所述特征图经过第n个融合模块的处理后，输出特征图将第n个融合模块输出的第m个特征图与第m个模态分支网络的第n个卷积模块输出的特征图进行相加，得到相加后的特征图从而得到M个相加后的特征图进而得到第N个融合模块输出的特征图

步骤2.3、所述重构模块由N级卷积网络构成；并将N个融合模块输出的特征图输入到所述重构模块，得到初步融合图像F′：

步骤2.3.1、将所述第n个融合模块输出的所有特征图进行相加，得到融合特征图Φⁿ；从而得到N个融合模块的融合特征图{Φ¹,…,Φⁿ,…,Φ^N}；

步骤2.3.2、构建由N级卷积网络构成的重构模块，并将第n个融合模块的融合特征图Φⁿ输入到重构模块的第n级卷积网络：

当n＝1时，第n级卷积网络包括：B_n个卷积模块

当n＝2,3,…,N时，第n级卷积网络包括：B_n个卷积模块和B_n+1个上采样层第n级卷积网络的第b个卷积模块RConvBlock_nb由Y个二维卷积层组成，b∈{1,2,…,B_n}；

当n＝1且b＝1时，将所述第n个融合模块的融合特征图Φⁿ输入到所述第n级卷积网络的第b个卷积模块RConvBlock_nb，并输出特征图ΦR_nb；

当n＝2,3,…,N且b＝1时，将所述第n个融合模块的融合特征图Φⁿ输入到第n级卷积网络的第b个上采样层UpSample_nb中进行上采样处理后，输出上采样的特征图ΦU_nb；从而得到第2级到第N-1级卷积网络的上采样后的特征图{ΦU_2b,…,ΦU_nb,…,ΦU_Nb}；

当n＝2,3,…,N且b＝2,3,…,B_n时，将第n个融合模块的融合特征图Φⁿ、第n级卷积网络的前b-1个卷积模块的输出特征图{ΦR_n1,…,ΦR_n(b-1)}、第n+1级卷积网络的前b个上采样后的特征图{ΦU_(n+1)1,…,ΦU_(n+1)b}进行拼接后，得到拼接后的特征图；将所述拼接后的特征图输入到第n级卷积网络的第b个卷积模块RConvBlock_nb，并输出第n级卷积网络的第b个卷积模块的输出特征图ΦR_nb；从而得到第1级卷积网络的第B₁个卷积模块的输出特征图

将所述第1级卷积网络的第B₁个卷积模块的输出特征图经过一个卷积层的处理后，获得初步融合图像F′；

步骤三、构建损失函数并训练网络得到最优融合模型：

步骤3.1、分别计算所有模态的图像块集合{S₁,…,S_m…,S_M}中各个图像块集合的熵，并得到相应的熵值{e₁,…,e_m…,e_M}，其中，e_m表示第m个模态的图像块集合的熵值；

步骤3.2、对所述熵值{e₁,…,e_m…,e_M}分别进行归一化处理后，得到所有模态的图像块集合{S₁,…,S_m…,S_M}的权重{ω₁,…,ω_m,…,ω_M}，其中，ω_m表示第m个模态的图像块集合的权重；

步骤3.3、利用式(1)构建总损失函数Loss：

式(1)中，L_ssim(S_m,F′)表示所述第m个模态的图像块集合S_m与所述初步融合图像F′之间的结构相似性损失函数；

步骤3.4、利用优化器对所述总损失函数Loss进行最小化求解，从而对融合网络TransFusion中的所有参数进行优化，并得到最优融合模型；

步骤四、利用最优融合模型对所有模态的Y通道图像{I₁,I₂,…,I_M}进行处理并输出初步融合图像F′；将初步融合图像F′转换到RGB色彩空间，从而得到最终融合图像F。

2.根据权利要求1所述的基于全局信息融合的多模态医学图像融合方法，其特征是，所述步骤2.2中的第n个融合模块按以下过程进行处理：

步骤2.2.1、第n个融合模块对所述M个模态分支网络在第n个卷积模块输出的特征图进行拼接并拉平，得到尺寸为(M*Hⁿ*Wⁿ)×Dⁿ的拉平后的特征向量；再将所述拉平后的特征向量与一个相同尺寸的可训练向量进行相加，得到第n个融合模块的包含位置信息的特征向量

步骤2.2.2、当l＝1时，第n个融合模块的第l个自注意力机制模块将所述特征向量进行线性映射后，得到三个矩阵Q^nl，K^nl，V^nl；再计算Q^nl，K^nl，V^nl之间的多头注意力结果Z^nl；所述多头注意力结果Z^nl输入到第n个融合模块的第l个自注意力机制模块的全连接层中，并得到第n个融合模块的第l个自注意力机制模块的输出序列向量

当l＝2,3,…,N时，将第n个融合模块的第l-1个自注意力机制模块的输出序列向量输入第n个融合模块的第l个自注意力机制模块中，并得到第n个融合模块的第l个自注意力机制模块的输出序列向量从而得到第n个融合模块的第L个自注意力机制模块的输出序列向量

步骤2.2.3、将所述输出序列向量划分成M个模态，然后将每个模态的尺寸变形为Hⁿ×Wⁿ×Dⁿ，以得到输出特征图