[发明专利]一种基于多层次结构关系学习网络的脑肿瘤分割方法

权利要求书

1.一种基于多层次结构关系学习网络的脑肿瘤分割方法，其特征在于，所述方法采用基于3D U-Net结构的多层次框架，用于从多模态MRI数据中分割脑肿瘤区域；编码器和解码器模块遵循原始设计的3D U-Net方案，由大数据库ImageNet预训练的3D U-Net网络获取，并使用脑肿瘤训练数据集对其进行微调；

所述方法在编码器的基础上开发一个环境信息挖掘模块，通过对空间信息和信道知识，即单个域内、不同域之间信息的利用，进行远距离像素依赖关系的学习；

所述方法通过对偶自注意力机制来建立特征之间的关联从而探索语义信息，该机制从不同的空间学习远距离像素的依赖关系；

编码器的共享特征被输入环境信息挖掘模块以获取环境特征，其中：对偶自注意力机制分别通过通道注意力和空间注意力来获得相应的单个空间内的环境特征；然后，通过信道和空间环境特征得到信道-空间相似度用于计算信道信息对空间环境特征的影响；最后，将信道信息增强的空间环境特征和原始空间环境特征组合为最终的环境特征，并将其输入到基于反卷积的解码器中，使输出分割图的大小与输入图像的大小相同；

利用域内和域之间信息的工作集中在对偶自注意力网络、空间交互学习和损失函数这三部分。

2.如权利要求1所述的一种基于多层次结构关系学习网络的脑肿瘤分割方法，其特征在于，单个域内信息的挖掘，其实现的方式为：使用对偶自注意力机制来学习空间域和通道域像素的关系；

假设编码器得到的共享特征表示为F∈R^C×H×W×D，其中C、H、W、D分别为共享特征的通道数、宽度、高度、深度；所述方法重塑共享特征为形状C×N的共享特征f，其中N＝H×W×D为特征立方体中的体素数；表示体素i和j中的特征，表示通道m和n中的特征；然后利用特征矩阵中的线性核函数和softmax层来学习空间域或信道域内体素间的相似性，即体素i到体素j的信息和信道m到信道n的信息的公式为：

空间环境特征和信道环境特征的最终输出由环境特征和原始共享特征的线性组合得到，其公式为：

其中α和β系数用来控制环境因素的影响，采用网格搜索获取最佳取值。

3.如权利要求1所述的一种基于多层次结构关系学习网络的脑肿瘤分割方法，其特征在于，不同域之间关系的学习，其实现方式为：

所述方法提出一种空间交互学习方法，通过通道自注意模型和通道与空间之间的交互模型对空间语义信息进行增强，融合空间和通道-空间挖掘的语义特征，提取有辨别力的语义特征；假设对偶自注意力模块获得的空间环境特征和通道环境特征分别为{e_n,e_c}∈R^N×C；然后使用线性核表示体素i中的空间环境特征与信道m中的通道环境特征之间的关系，从而得到额外的空间信息e_cn∈R^N×C；空间环境特性和信道环境特性产生不同的分支，这些分支之间具有语义鸿沟，共享空间嵌入可以找到一个共享空间来增强空间和通道之间的关系，并采用数据驱动的方法来确定嵌入的投影矩阵，计算体素i中的空间环境融合特征gⁱ的公式为：

其中w_n∈R^T×C和w_c∈R^T×N分别为在空间和信道空间交互中的嵌入矩阵，该公式通过网格搜索确定合适的嵌入维数T。

4.如权利要求1所述的一种基于多层次结构关系学习网络的脑肿瘤分割方法，其特征在于，损失函数，其构建方式为：

网络权重W是从一组训练样本中学习获得的，其中X_i为样本的多模态MRI观测值，Y_i为对应的Whole Tumor、Tumor Core、Enhancing Tumor区域的分割掩码，N为训练集中样本的个数，这些参数采用多任务损失函数进行优化，其中，损失函数的公式为：

其中，M是在多任务学习中的任务分支数量，在所述方法中M＝3，α_m是特定任务的权重，由网格搜索决定最佳权重值，l^m是任务m的损失值；

为了进一步解决标签不平衡问题，所述方法使用混合损失函数，包括Dice系数，以DC表示和加权交叉熵，以WCE表示，损失来训练多任务分割网络，其公式为：

l^m(X_i,W,Y_i)＝DC(P_i,Y_i)+λWCE(P_i,Y_i)，

Dice系数度量预测的分割掩码与真实分割掩码之间的重叠度；

假设P_i为样本i的预测掩模图，G_i为专家手动标注的对应的真实分割掩码，定义Dice系数的计算公式为：

WCE计算的公式为：

其中S₊表示正样本集，S_-表示负样本集，|.|表示数据集中的样本数，γ表示正样本集和负样本集数量的比例。