[发明专利]基于多模态图像融合的MRI肿瘤优化分割方法及系统

权利要求书

1.一种基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，包括：

步骤1：构建MRI肿瘤多模态图像融合的网络；

步骤2：构建用于增强肿瘤图像分割的多模态3D网络；

步骤3：基于GAN的图像融合，构建显著性损失函数；

步骤4：构建Mask注意机制对比度损失函数；

步骤5：构建SSIM损失函数；

步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。

2.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述MRI肿瘤多模态图像融合的网络包括：融合Mask注意机制和显著性损失函数。

3.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤3包括：在图像融合中，引入结构相似度指数，结构相似度指数是两个图像相似度的度量；

引入对比度损失函数、结构相似性损失函数、细节损失函数，设置λ,μ,ω为权重因子，通过计算三种函数分别乘以权重后叠加得到显著性损失函数。

4.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤4包括：定义E_i是Mask_i区域的四个模态图像体素的加权灰度平均值，计算出两两模态图像体素的加权灰度平均值相减与相加的比值，叠加后取绝对值得出损失函数。

5.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤5包括：构造Mask注意区域G(z)_mask＝(1-Mask₄)⊙G(z)和y_mask＝(1-Mask₄)⊙y，在融合图像G(z)和生成金标准y之间通过变换得到结构相似度指数，推出SSIM损失函数。

6.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤6包括：根据所述MRI肿瘤多模态图像融合的网络，对输入的3D核磁共振图像进行融合，根据多模态3D网络将融合后的多模态图像进行分割，通过高斯随机变量初始化添加的三个卷积层的权值，利用预处理后的四通道图像作为训练样本并输入到构造的全卷积网络模型中，再采用随机梯度下降法作为优化方法有监督地最小化损失函数，从而对全卷积网络模型包括的所有卷积层的权值进行调优训练。

7.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述用于肿瘤核图像分割的多模态3D网络包括：

网络的压缩路径由4个block组成，每个block使用了3个有效卷积和1个Max Pooling降采样，每次降采样之后Feature Map的个数翻倍；

网络的扩展路径由4个block组成，除最后一层每个block开始之前通过反卷积将Feature Map的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的Feature Map合并。

8.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，整个多模态MRI肿瘤图像的融合结果用作附加输入，连同四种模态的MRI图像序列输入到核磁共振图像通道，产生3通道级联输入；

多模态3D网络的输出是3通道张量，为肿瘤分割结果图。

9.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，加入SE激励模块，SE激励模块明确建模通道之间的相互依赖关系，自适应重新校准通道方向的特征响应。

10.一种基于多模态图像融合的MRI肿瘤优化分割系统，其特征在于，包括：

模块M1：构建MRI肿瘤多模态图像融合的网络；

模块M2：构建用于增强肿瘤图像分割的多模态3D网络；

模块M3：基于GAN的图像融合，构建显著性损失函数；

模块M4：构建Mask注意机制对比度损失函数；

模块M5：构建SSIM损失函数；

模块M6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。