[发明专利]一种基于多注意力机制的端到端的肿瘤分割方法

说明书

本发明涉及一种基于多注意力机制的端到端的肿瘤分割方法，该方法主要包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络，由改进的3D Residual U‑net构成；注意力模块由特殊设计的双分支结构构成。该方法能够弥补现有技术的训练效率低，分割精度差的不足，将对多个肿瘤子区域多类分割问题转化成多个二类分割任务，注意力机制将对肿瘤外周水肿区域的分割结果作为一种软注意力添加到进一步对于肿瘤核部分的分割子任务中，同样将肿瘤核部分的分割结果通过注意力机制添加到对于肿瘤核内部的增强区域的分割子任务中。该方法适用于包括脑瘤在内的具有类似层次结构的肿瘤病变组织的3D影像的分割，包括MRI，CT图像等，能够提供更加精确的分割结果。

技术领域

本发明涉及计算机视觉，医学图像处理，图像分割领域，尤其是对于肿瘤的核磁共振图像的自动分割领域，具体涉及一种基于多注意力机制的端到端的肿瘤分割方法。

背景技术

对于肿瘤的不同组织的精准划分和描述是治疗肿瘤和判断预后效果中非常重要的一步。在现阶段的临床实践中，肿瘤的标定勾勒通常是由专业的医生或有丰富经验的放射科医师来完成。然而，医学图像不同于传统的自然场景下的2D图像，许多肿瘤需要借助MR，CT等仪器生成的3D图像来进行确诊，对于这些3D图像的手工分割往往是一件耗时耗力成本高昂的工作，而且不同的标注者对于同一幅图像的判断标准和标注原则并不是完全相同，因此标注的结果往往具有很大的类间和类内方差。

深度学习的发展极大地推动了对于肿瘤图像自动分割的研究，但是由于脑瘤在图像中的独特特点，给这项工作带来了极大地挑战。首先肿瘤的不同区域以及肿瘤在人体中与其他正常组织之间对比度较低，因此在低级别的肿瘤影像中其边界非常模糊，成像后边界会出现无规则不连续的情况；其次肿瘤的大小，形状，位置，对比度摄取等在不同的病人之间也存在较大的差异，无法将一些固定规则的先验知识添加到分割任务中去。以脑神经胶质瘤为例，更加精确的分类脑瘤的亚型和告知后续的治疗，在将其从混杂的脑部其他组织中分离出来的同时，还需要分别对脑瘤的水肿区域，肿瘤核(手术中主要切出的部分)，增强部分等进行划分，这也是术前规划和进行放射治疗的关键。

鉴于任务的复杂性，目前的很多工作都是通过设计一个更加强大的模型来解决对于多个肿瘤子区域的分割，但是这些单个的模型对于图像中较小的区域分割效果较差。也有很多工作是通过将复杂任务分解，使用多个简单模型来处理不同的子任务，最后通过级联的方式结合在一起，但是对于这种级联网络的一个缺点就是它并不是一个端到端的网络，因此其训练测试效率较低，同时将整体任务分解，虽然每个子任务能达到局部最优，但是无法达到全局最优。

发明内容

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种基于多注意力机制的端到端的肿瘤分割方法，提升分割效果。

为此，本发明提出一种基于多注意力机制的端到端的肿瘤分割方法，利用深度学习神经网络进行肿瘤分割，所述神经网络包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络；注意力模块由双分支结构构成；该方法的使用包括如下步骤：A.数据的预处理，包括图像的裁切，数据的增强，图像的偏差矫正，归一化等操作；B.数据的输入，通过对数据的排序进行打乱，随机裁切一定大小的图像块，作为模型的输入；C.模型的训练，使用准备好的数据对主干网络和注意力模块组成的模型进行整体端到端训练，直到模型在评价指标上达到收敛为止；D.效果的验证，将训练好的模型对验证集中的所有肿瘤图像进行分割，将分割得到的结果进行在线提交，以评估模型的分割效果。

在本发明的一些实施例中，还包括如下特征：

将肿瘤的多类分割问题转化为多个前景背景二类分割问题，使用多个子网络来对不同的子区域进行分割，最终将各个子网络对于不同子区域的分割结果通过加权平均的方式进行融合。

主干网络由三个子网络构成，三个子网络均使用改进的3D Residual U-net结构，其下采样次数分别为4次、4次、3次。