[发明专利]一种基于多注意力机制的端到端的肿瘤分割方法

权利要求书

1.一种基于多注意力机制的端到端的肿瘤分割方法，利用深度学习神经网络进行肿瘤分割，所述神经网络包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络；注意力模块由双分支结构构成；该方法的使用包括如下步骤：

A.数据的预处理，包括图像的裁切，数据的增强，图像的偏差矫正，归一化操作；

B.数据的输入，通过对数据的排序进行打乱，随机裁切一定大小的图像块，作为模型的输入；

C.模型的训练，使用准备好的数据对主干网络和注意力模块组成的模型进行整体端到端训练，直到模型在评价指标上达到收敛为止；其中，模型的训练是一个端到端的过程，即中间的学习过程完全是由深度卷积神经网络完成，不需要额外的特征处理操作；

D.效果的验证，将训练好的模型对验证集中的所有肿瘤图像进行分割，将分割得到的结果进行在线提交，以评估模型的分割效果；

其中，根据肿瘤在解剖学上的层次性特点，通过使用注意力机制来利用所述特点，将对于全肿瘤的分割结果作为一种软注意力信息添加到对于肿瘤核的分割任务上，将对于肿瘤核的分割结果作为一种软注意力信息添加到对于肿瘤核内部增强肿瘤部分的分割任务上。

2.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于将肿瘤的多类分割问题转化为多个前景背景二类分割问题，使用多个子网络来对不同的子区域进行分割，最终将各个子网络对于不同子区域的分割结果通过加权平均的方式进行融合。

3.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法模型，其特征在于主干网络由三个子网络构成，三个子网络均使用改进的3D Residual U-net结构，其下采样次数分别为4次、4次、3次。

4.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于注意力模块包括两个分支，一个分支的输入来自于前一个子网络输出部分logit操作之前的特征图，将其进行了sigmod归一化处理；另一个分支的输入来自于相邻下一个子网络中下采样路径中第一个残差块输出部分的特征图。

5.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于注意力模块中在将注意力图和相应的特征图点乘时，先对注意力图中的所有元素进行加一操作，防止因为注意力图趋近于零时进行点乘影响后面的子网络的训练。

6.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于数据的预处理过程中首先通过检测像素值大于零的最小边界，使用该最小边界对数据进行裁切，一定程度上缓解类别不平衡问题。

7.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于数据预处理过程中对于肿瘤3D MRI进行了偏差矫正，之后又进行归一化操作，使图像的像素值处于[0,1]区间。

8.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于模型训练过程中输入数据是采样后的3D图像块，同时为了缓解类别不平衡问题，采样时限制了图像块中每个类别的最小体素数目。