[发明专利]基于自适应亲和力和类别分配的弱监督语义分割方法

说明书

本发明提出一种基于自适应亲和力和类别分配的弱监督语义分割方法，用于解决现有技术中存在的分割精度较低的技术问题，实现步骤为：获取训练样本集和测试样本集；构建基于自适应亲和力和类别分配的弱监督语义分割模型；对基于自适应亲和力和类别分配的弱监督语义分割模型进行迭代训练；获得语义分割结果。本发明通过使用自适应亲和力损失，计算一定邻域内的像素分割网络输出的每个像素点的概率之间的相关关系，实现了像素点间的信息传递，充分利用了可用的监督信息，同时通过使用类别分配损失，计算像素分割网络输出的每个像素点的概率与每个目标类别概率的中心点的距离，缓解了网络训练后期对于错误标签的过拟合，提高了网络的抗干扰能力。

技术领域

本发明属于图像处理技术领域，涉及一种弱监督语义分割方法，具体涉及一种基于自适应亲和力和类别分配的弱监督语义分割方法，可用于自动驾驶，场景理解及自动抠图。

背景技术

语义分割是指将图像分割为若干个具有某种特定语义含义的像素区域，并识别出每个区域的目标类别，最终获得一幅具有像素语义标注的图像，从而实现对图像内容的充分理解，被广泛应用于自动驾驶、场景理解等领域。

表征语义分割方法的指标主要有实用性、分割精度和算法复杂性。语义分割方法一般分为传统语义分割方法和基于深度学习的语义分割方法，相比于传统方法，基于深度学习的语义分割方法分割精度高，算法复杂性低，因此得到了广泛关注。根据所给的监督信息不同，基于深度学习的语义分割方法可分为基于有监督的语义分割方法和基于无监督的语义分割方法，相比于基于无监督的语义分割方法，基于有监督的语义分割方法使用了更多的监督信息，有效提高了分割精度。有监督语义分割方法可分为基于全监督的语义分割方法和基于弱监督的语义分割方法。基于全监督的语义分割方法具有较高的分割精度和较低的算法复杂性，但是在基于全监督的语义分割方法的实际应用中，需要获取应用场景下的大量图像作为训练数据，并对这些训练图像进行逐像素的人工标注，标注出图像中每个像素点对应的目标类别，这种昂贵的标注方式需要消耗大量的人力和时间，当应用到新的场景中，需要重新获取大量图像及其像素级标注的数据用于网络训练，实用性较差。基于弱监督的语义分割方法能够使用图像的类别标签而不是大量像素级手工标注进行网络训练，从而大幅度地降低标注成本，提高了语义分割的实用性。

弱监督语义分割方法可分为基于多阶段的弱监督语义分割方法和基于单阶段的弱监督语义分割方法，前者分割精度接近于全监督方法但是算法复杂性较高；后者算法复杂性较低但是分割精度相对较差。在弱监督语义分割方法中，由于无法获取图像中每个像素点的真实标注，影响分割精度的因素主要有监督信息的使用方式以及网络训练的拟合过程。

为了实现在较低复杂性条件下提高分割精度，研发人员对基于单阶段的弱监督语义分割方法进行了改进，例如，Bingfeng Zhang在2020年AAAI会议上发表的论文《Reliability Does Matter:An End-to-End Weakly Supervised SemanticSegmentation Approach》中，公开了一种基于单阶段的弱监督语义分割方法，该方法在对每幅图像进行网络训练的同时生成每幅图像的伪标签，从而使用伪标签监督网络训练生成的分割结果，在分割精度上相较于其他基于单阶段方法有了大幅提升。但是其存在的不足之处在于：由于该方法仅使用交叉熵损失对网络进行训练，忽略了网络输出中的像素间的信息传递，使得伪标签中的监督信息没有得到充分利用，此外，该方法过于依赖伪标签，当伪标签中出现错误标签时，网络训练后期会过拟合于一些伪标签中的错误标签，导致网络的分割精度逐渐下降。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提出了一种基于自适应亲和力和类别分配的弱监督语义分割方法，旨在提高基于单阶段的弱监督语义分割方法的分割精度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集和测试样本集：