[发明专利]一种基于弱监督的医学图像语义分割方法和系统

说明书

本发明涉及一种基于弱监督的医学图像语义分割方法，包括：对样本医学图像进行分割获得多个尺度下的多个特征图块；通过随机失活掩码对该特征图块进行筛选，对选出的特征图块提取图像特征，以该图像特征对深度卷积神经网络进行训练获得分类模型；以该分类模型对目标医学图像进行分割，并通过类别激活图构建热力图作为分割结果的伪标签。本发明还涉及一种基于弱监督的医学图像语义分割系统，以及一种数据处理装置。

技术领域

该发明创造属于计算机视觉技术领域，特别是涉及一种基于弱监督语义分割技术的图像分割方法和系统。

背景技术

随着深度学习的技术发展，基于深度学习的计算机视觉模型在相关视觉任务中都有着优秀的表现，并直接地便利了我们的生活。同样的，语义分割任务在医疗行业的应用也成为了一个研究热点，利用语义分割提取目标组织将会对医生的诊断与预后工作提供很大的便利。然而，繁重的数据标注任务既耗费时间，同样也影响着数据集的规模。因此，如何利用弱监督信息(如涂鸦、边界框、图像级类别标签等)对语义分割模型进行训练成为了一个新的技术热点。这一技术的难点是在于对语义分割伪标签的生成，伪标签的质量将直接影响整个训练的最终结果。此外，在不同的弱监督信息中，图像级类别标签是最方便快捷的。因此利用图像级标签生成语义分割伪标签是实现弱监督语义分割的关键。

对于每张图像，现有的主流技术是将其视为多实例学习(Multiple InstanceLearning)问题，主要分为以下三个阶段任务：(1)利用深度卷积神经网络(DCNN)对图像进行特征提取；(2)进行特征的选择与融合，对网络模型进行训练；(3)利用深度卷积神经网络(DCNN)输出概率构成的热力图(heatmap)作为伪标签。

然而，上述的方法仍然存在一定的缺点和性能提升空间。假设Bⁱ表示第i张图像构成的包(bag)，代表第i个bag中的第k个实例(instance)，表示深度卷积神经网络(DCNN)的输出概率，表示深度卷积神经网络(DCNN)的低维嵌入向量表示。对于任务(2)来说，模型训练的损失函数可以定义为以下形式：

其中，yi表示由相应规则挑选出来的实例对应的标签，概率是对应的概率：

主要的特征选择方法有两种，一种是基于池化(MIL Pooling)的选择方法({f(b_i)}表示包Bⁱ对应实例集合，S_criterion表示挑选的规则):

而另一种是基于soft attention(软注意力机制)的选择方法表示DCNN模型的低维嵌入向量表示、表示每个实例对应的attention权重、f_classifier表示全连接层)：

对于基于池化(MIL Pooling)的选择方法来说，选择特征的方式不灵活，往往导致特征单一化，使模型陷入局部最优，对于分类任务有较小的影响，但是对于语义分割任务来说，模型应不仅仅能够判断出最具有代表性的区域，而是尽可能覆盖所有的目标区域；而对基于soft attention(软注意力机制)的选择方法来说，它虽然考虑到了每个实例的特征，利用加权将其融合。但是对于尺寸巨大的病理图片来说，每个bag中实例的数量是巨大的，在现有的计算资源条件下是很难实现模型端到端的训练。因此，一种能够灵活选择特征并且占用较少计算资源的特征选择方法是需要去解决的一个问题。

对于任务(3)来说，主流的方法是利用深度卷积神经网络(DCNN)将每个实例的概率作为伪标签的概率，但是这种instance-wise的伪标签对于语义分割的训练是极其不精细的，更加精细的伪标签将进一步提升弱监督语义分割任务的结果。

在这样的前提背景下，找到一种方法去解决任务(2)与任务(3)中产生伪标签过于粗糙的问题对弱监督语义分割任务来说至关重要，同样也是最主要的技术难点。