[发明专利]一种基于图像融合技术的多模态图像分割方法

权利要求书

1.一种基于图像融合技术的多模态图像分割方法，其特征包括以下步骤：

步骤1：融合多模态图像：

步骤1.1：数据获取及预处理：

根据分割需求选取第一模态图像S₁和第二模态图像S₂并作为源模态图像后对其随机裁剪成尺寸为L×H×W的图像样本后再进行归一化处理，从而得到预处理后的第一模态图像S′₁和第二模态图像S′₂；

步骤1.2：建立基于像素级的融合网络：

所述像素级的融合网络包含两个结构相同的分支，每个分支均包含一个卷积层Conv_x和一个残差层Res-conv_x，x＝1或2；其中，残差层是由两个卷积层跳跃连接组成；其中，卷积层包括：1个三维卷积层，1个批量归一化层以及1个ReLU激活函数层；

每个分支接收一种模态图像集，从而将预处理后的第一模态图像集S′₁和第二模态图像集S′₂分别经过两个分支的处理后，相应输出第一模态特征图F₁和第二模态特征图F₂；

将第一模态特征图F₁和第二模态特征图F₂拼接后依次输入第三个残差层Res-conv₃的处理后再经过两个卷积层Conv₃和Conv₄以及一个激活函数层的处理，并得到权重图m，从而利用式(1)得到所述像素级的融合网络输出的融合模态图像F：

F＝mS₁+(1-m)S₂ (1)

步骤1.3：构建如式(2)所示的损失函数L_fusion：

L_fusion＝L_pixel+αL_ssim (2)

式(2)中，α是平衡两项损失在同一数量级的参数，L_pixel与L_ssim分别代表训练的像素损失和结构相似性损失，并有：

L_ssim＝γ(1-SSIM(F,S₁))+(1-SSIM(F,S₂)) (4)

式(3)中，β表示权重系数，表示F范数；

式(4)中，γ表示权重系数，SSIM(·)表示结构相似度；

步骤1.4：基于预处理后的第一模态图像S′₁和第二模态图像S′₂训练像素级的融合网络，并采用反向传播算法对所述损失函数L_fusion进行优化求解，从而调整所述融合网络中所有参数，当训练迭代次数达到设定的次数或损失函数L_fusion的值达小于所设定的阈值时，训练停止，从而得到最优融合模型及其输出的融合图像，并将输出的融合图像还原至源模态图像的尺寸，得到最优融合图像F^*；

步骤2：分割多模态图像：

步骤2.1：数据预处理：

将源模态图像与最优融合图像F^*拼接后随机裁剪成尺寸为L₁×H₁×W₁的图像块并进行归一化处理，得到预处理后的N个图像块，且每个图像块对应一个模态；获取源模态图像对应的真实标签图像g；

步骤2.2：建立基于特征级融合的多模态特征选择模块：

根据图像块的模态数量N，设置所述多模态特征选择模块包含的并行分支个数为N，使得每个并行分支对应一种模态图像；

第n个并行分支使用一个卷积层来提取对应第n种模态的图像块的浅层特征U_n，从而得到N个尺寸为L₁×H₁×W₁×C的浅层特征U₁,U₂,…,U_n…,U_N，n＝1,2,...,N，C为通道数；

将不同并行分支提取的浅层特征U₁,U₂,…,U_n…,U_N相加得到中间融合特征U，再将中间融合特征U通过一个全局平局池化层的处理后得到尺寸为1×1×1×C的通道特征向量s_C；

使用一个卷积层对所述通道特征向量s_C进行下采样操作以降低通道数量，从而得到尺寸为1×1×1×C/r的特征向量z；

N个并行分支对所述特征向量z使用N个卷积层的上采样处理，得到N个尺寸为1×1×1×C的特征向量并使用softmax层的激活处理，得到N个分支上的权重向量t₁,t₂,…,t_n,…,t_N，从而利用式(5)得到多模态特征选择模块输出的融合特征V：

式(5)中，t_n表示第n个分支上的权重向量，U_n表示第n个分支上的浅层特征；

步骤2.3：建立分割网络，并将融合特征V输入所述分割网络中进行处理，得到分割结果图像p；

步骤2.4：构建如式(6)所示的损失函数L_seg：

L_seg＝L_dice+λL_bce (6)

式(6)中，λ是权重系数，L_dice与L_bce分别代表训练的Dice损失与BCE损失，并有：

式(7)和式(8)中，p_i代表分割结果图像p中第i个像素点的预测值，g_i代表真实标签图像g中第i个像素点的真实标签值，v代表图像像素点的数量；

步骤2.4.2：基于源模态图像S₁，S₂，融合模态图像F及真实标签图像g对所述分割网络进行训练，并采用反向传播算法对所述损失函数L_seg进行优化求解，从而调整所述分割网络中所有参数，当训练迭代次数达到设定的次数或损失函数L_seg的值达小于所设定的阈值时，训练停止，从而得到最优分割模型；

步骤2.5：将待分割的多模态图像输入至所述最优分割模型中，并得到分割结果后还原至原始尺寸，从而得到最终的分割图像。