[发明专利]一种弱监督语义分割方法及其应用

说明书

本发明属于计算机视觉技术领域，具体公开一种弱监督语义分割方法及应用，方法包括：采用预训练的用于弱监督语义分割的语义擦除式区域扩张分类网络，对待语义分割图片依次进行第一阶段特征提取和高层语义整合分类，得到该张图片对应的第一类别响应图；对第一类别响应图中响应度高的区域进行擦除并对擦除后的类别响应图进行第二阶段高层语义整合分类，得到第二类别响应图；对第一类别响应图和第二类别响应图的各对应位置分别相加融合，得到融合类别响应图，并对融合类别响应图进行背景阈值切割处理得到类别分割区域图。本发明极大简化擦除式区域扩张分类网络结构，同时扩张效果好，极大提高区域扩张的探索效率，使得弱监督语义分割效果进一步增强。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种弱监督语义分割方法及其应用。

背景技术

语义分割是计算机视觉的经典问题之一，可广泛应用于基于视觉的道路场景分割、遥感图像分割等精细分割场景。对于一张给定的图片，通过一定的算法分割出不同的类别区域(包含若干前景物体类别以及背景)。基于深度学习的全监督语义分割算法需要像素级别的类别标记信息，这种标记往往精细耗时，并且限制了物体类别的多样性和具体的实际应用。其他如物体框、简笔画、点标记等弱监督标记极大降低了标记成本，且在一定的时间内能够标记出更多的训练图片。在所有弱监督标记中，图像级别的标记成本最低，它只标明每张图片包含哪些类别，而不对图片像素进行标记。因此，大部分弱监督语义分割算法希望仅通过图片标签得到相对高的语义分割结果。

给定图片标签，之前的算法首先通过分类网络的训练，生成初始的类别分割区域“种子”，该种子通过深度网络末端的类别响应图产生。然后，种子分割结果被用来训练一个常规的全监督分割网络，以得到最终的弱监督分割结果。由于种子的高响应区域通常集中于具有显著分类特征的物体区域，并不能包含整个物体。为了扩张初始区域种子，已有方法在图片本身或者深度网络的高维中间层特征上对种子区域进行擦除抑制。通过迭代训练擦除后的分类网络，促使种子关注到其他非显著性的特征区域。但是，以上擦除算法仍然存在以下两种问题：(1)已有的方法需要迭代式地训练分类网络，这引入很多离线操作和计算复杂度。同时，迭代次数的最优值也是实验性质的，对于不同类别的扩张，由于不同类别具有的特征区域块数量不同，无法很好的判定一个对所以类别都最优的共同最佳迭代值；(2)已有的算法并没有探究擦除后的扩张效率。即，在深度网络的什么地方擦除，擦除之后剩下的特征信息，如何能够使得网络更好的探索其他非显著性的区域。因此，如何克服现有擦除方法存在的扩张效率低的问题以提高弱监督语义分割精度，是目前本领域亟待解决的技术问题。

发明内容

本发明提供一种基于高层语义的弱监督语义分割方法及其应用，用以解决现有的擦除区域扩张式的弱监督语义分割方法中因擦除位置和扩张效率而导致的语义分割精度不高的技术问题。

本发明解决上述技术问题的技术方案如下：一种弱监督语义分割方法，采用预训练的用于弱监督语义分割的语义擦除式区域扩张分类网络，执行以下步骤：

对待语义分割图片依次进行第一阶段特征提取和高层语义整合分类，得到该张图片对应的第一类别响应图；

对所述第一类别响应图中响应度高的区域进行擦除，并对擦除后的类别响应图进行第二阶段高层语义整合分类，得到第二类别响应图；

对所述第一类别响应图和所述第二类别响应图的各对应位置分别相加融合，得到融合类别响应图，并对所述融合类别响应图进行背景阈值切割处理，得到类别分割区域图，完成所述待语义分割图片的语义分割。

上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述语义擦除式区域扩张分类网络的训练方法为：

S1、分别采用特征提取单元和第一分类单元，对训练图片集中任一张图片依次进行第一阶段特征提取和高层语义整合分类，得到该张图片对应的第一类别响应图，对该第一类别响应图进行全局平均池化，得到第一类别预测向量；