[发明专利]基于多模态图像融合的MRI肿瘤优化分割方法及系统

说明书

本发明提供了一种基于多模态图像融合的MRI肿瘤优化分割方法及系统，包括：步骤1：构建MRI肿瘤多模态图像融合的网络；步骤2：构建用于增强肿瘤图像分割的多模态3D网络；步骤3：基于GAN的图像融合，构建显著性损失函数；步骤4：构建Mask注意机制对比度损失函数；步骤5：构建SSIM损失函数；步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。本发明当训练深层架构时，一个剩余单位会有所帮助；利用递归残差卷积层进行特征积累，为分割任务提供了更好的特征表示；为医学图像分割设计了具有相同网络参数、性能较好的U‑NET体系结构。

技术领域

本发明涉及医学图像分割技术领域，具体地，涉及一种基于多模态图像融合的MRI肿瘤优化分割方法及系统。尤其地，涉及一种多模态医学图像融合与损失函数优化的三维U-Net大脑肿瘤分割方法。

背景技术

多模态MRI(核磁共振)图像是脑肿瘤评估和治疗的重要诊断工具，就目前而言，相比自然图像，医学影像分辨率相对较低，而且医学造影代价较高，数据量相对较少。医学图像的标注门槛较高，只有经验丰富的资深医师才能对三维图像进行准确标注，因此，可用来进行计算机学研究的数据样本及标签非常稀少。数据量的匮乏是医学影像相对自然图像分割的难点之一，导致目前还没有一种分割算法能够满足临床的需要，不同专家手动分割脑肿瘤图像的结果也有很大差异，而且人工成本较高。因此，研究精确度高及鲁棒性强的脑肿瘤分割方法是十分有必要的。

基于MRI图像的脑肿瘤传统分割方法大致可以分为三类，即基于边界、基于区域以及两者相结合的方法。其中，基于边界的方法就是在图像中标识目标的边界，基于区域的方法就是在图像中标识目标所占有的区域，两者相结合的方法就是将基于边界和基于区域的方法结合起来，取两者的优势而避免其劣势的方法。但是，本发明的发明人经过研究发现，这些方法的分割结果过于粗糙且分割效率较低，并且不适用于样本量不足的脑肿瘤图像。

近年来，深度学习算法已经在医学图像分析的诸多领域得到广泛应用，以卷积网络(Convolutional Neural Networks,CNN)为代表的网络都包含多个卷积层，激活层，池化层等，如U-Net[1]和V-Net[2]、DenseNet[3]。这些网络已成功应用于许多生物医学图像任务，并在语义分割上表现出良好的表现。如今，很多研究学者将分割的重点由2D分割转移到3D分割上来，3D-CNN模型在一定程度上解决了将2D-CNN架构直接作用于三维医学影像时切片与切片间不连续性的问题。但是目前的三维医学图像数据较少，深度网络却需要大量的数据进行训练，因此由于数据量不足导致所得出的分割结果不够精确。

专利文献CN107220980A(申请号：201710379095.6)公开了一种基于全卷积网络的MRI图像脑肿瘤自动分割方法，包括脑肿瘤多模态MRI图像预处理、全卷积网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割，具体将MRI图像脑肿瘤的分割转换为像素级语义标注问题，对MRI不同模态强调的差异信息，将FLAIR、T1、T1c和T2四个模态的二维整幅切片合成四通道输入图像，利用已经训练好的卷积神经网络的卷积层和池化层作为基础特征层，在后添加三个与全连接层等同的卷积层构成中间层，使得中间层输出与语义分割类别数量相对应的粗糙分割图，在中间层的后面添加反卷积网络，用于对粗糙分割图进行插值得到与原图像大小一样的精细分割图。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于多模态图像融合的MRI肿瘤优化分割方法及系统。

针对现有传统分割方法要通过人的主观意识去理解图像，从而提取特定的特征信息，如灰度信息、纹理信息及对称信息等实现脑肿瘤的分割，结果只能针对特定图像有比较好的分割结果，并且分割结果过于粗糙、分割效率较低的技术问题，本发明提供一种基于多模态图像融合的MRI肿瘤优化分割网络。本发明融合Mask注意机制和显著性损失函数，来获得具有更多肿瘤信息的更好生成融合图像，同时采用三阶段分割，输入四模态的MRI图像，基于级联改良的U-Net来准确提取肿瘤，并使用前期阶段的分割结果作为后期阶段的附加输入。