[发明专利]一种基于3D-Ghost网络的多模态MR图像分割方法及装置

说明书

本发明涉及一种基于3D－Ghost网络的多模态MR图像分割方法及装置，其方法包括：获取待分割的多个模态的MR图像及其对应的掩码图像，将掩码图像拆分为多个单通道掩码图像；将所述多个模态的MR图像合成为多通道的三维图像，并将每个单通道掩码图像与其对应通道的三维图像进行分块，得到多个分块图像；从所述多个分块图像中筛选出非零掩码及其对应的图像，得到多通道MR图像；将所述多通道MR图像，输入到训练完成的3D－Ghost网络中，得到待分割的多个模态的MR图像的分割结果。本发明通过Ghost卷积与注意力机制结合，并提出了新的损失函数，从而提高了多模态MR图像分割模型的准确性、精度，减少了运算开销。

技术领域

本发明属于深度学习与图像处理技术领域，具体涉及一种基于3D－Ghost 网络的多模态MR图像分割方法及装置。

背景技术

脑胶质瘤是由于大脑和脊髓胶质细胞癌变所产生的、最常见的原发性颅脑肿瘤，其中恶性脑胶质瘤占比大且死亡率高。利用多模态MRI图像对脑胶质瘤定量分割和分级是诊治脑胶质瘤的主要方法。利用计算机辅助手段在多模态脑MR图像上全自动的定位脑胶质瘤，能够快速诊断和定量分析脑部肿瘤病变区域，减少医学工作者的工作量和标注的差异度。

现有技术的不足之处：1.由于医学图像单例图数据量大，在3D图像分割中，基于中心像素的分割方法能够将3D数据碎片化，节省运行内存，减少需要使用病例的数量，避免因数据集过少产生的过拟合。但是这类算法的网络感受也受限于所取图像碎片的大小，无法获得形态学信息，基于中心像素的分割方法的预测效率远低于全像素预测的网络。2.尽管基于全像素的分割网络U－net拥有简单紧凑的网络结构，并能够融合不同分辨率的特征，在医学图像中被广泛使用，但该模型还存在模型深度浅、图像特征信息提取不充分、在训练过程中使用的损失函数难以缓解类别不均衡问题。

发明内容

为提高3D图像分割的预测效率和预测类别不均衡的问题，在本发明的第一方面提供了一种基于3D－Ghost网络的多模态MR图像分割方法，包括：获取待分割的多个模态的MR图像及其对应的掩码图像，将掩码图像拆分为多个单通道掩码图像；将所述多个模态的MR图像合成为多通道的三维图像，并将每个单通道掩码图像与其对应通道的三维图像进行分块，得到多个分块图像；从所述多个分块图像中筛选出非零掩码及其对应的图像，得到多通道 MR图像；将所述多通道MR图像，输入到训练完成的3D－Ghost网络中，得到待分割的多个模态的MR图像的分割结果。

在本发明的一些实施例中，所述3D－Ghost网络包括：多个3D－Ghost卷积模块和空间注意力模块，所述多个3D－Ghost卷积模块，用于将输入的多通道MR图像进行强度归一化，或将归一化后的多通道MR图像编码为多维特征图；以及将多维特征图解码为多通道MR图像，并输出待分割的多个模态的MR图像的分割结果；所述空间注意力模块分别与每个3D－Ghost卷积模块连接，并在3D－Ghost卷积模块解码过程中向其传递多维特征图的特征信息。

进一步的，所述3D－Ghost网络包括3D－Ghost卷积模块和3D－Ghost反卷积模块，且所述3D－Ghost卷积模块和3D－Ghost反卷积模块构成U－Net网络，所述3D－Ghost卷积模块，用于将输入的多通道MR图像进行强度归一化，或将归一化后的多通道MR图像编码为多维特征图；所述3D－Ghost反卷积模块，用于将多维特征图解码为多通道MR图像。

更进一步的，所述空间注意力模块通过线性平衡和sigmoid激活函数，将3D－Ghost卷积模块编码过程中的特征信息传递给3D－Ghost反卷积模块。

在本发明的一些实施例中，所述训练完成的3D－Ghost网络通过如下步骤训练：获取已分割好的多个MR数据，其中MR数据包括多模态MR图像及其对应的掩码图像；根据多个MR数据构建训练数据集，利用训练数据集训练所述3D－Ghost网络，直至其损失函数值低于阈值且趋于稳定，得到训练完成的3D－Ghost网络。

进一步的，所述损失函数通过如下步骤计算：