[发明专利]一种基于层次联合卷积网络特征弱监督图像语义分割方法

说明书

本发明属于计算机视觉技术领域，涉及卷积神经网络、图像语义分割、弱监督学习和特征融合等方面，具体为一种基于层次联合卷积网络特征弱监督图像语义分割方法。本发明包括层次掩盖矩阵生成、层次卷积神经网络建立、层次卷积网络特征联合以及层次与联合图像分类损失函数建立并优化等创新性技术。通过将前一层次卷积网络用于分类的显著性区域进行掩盖，迫使后一层次卷积网络提取相对不明显的区域特征并识别目标非主要部分。重复上述步骤，得到多个层次卷积网络分别负责不同显著性区域特征挖掘，然后将各自输出特征图连接到一起组成联合特征图实现更加完整和准确的区域特征挖掘模型。

技术领域

本发明属于计算机视觉技术领域，涉及卷积神经网络、图像语义分割、弱监督学习和特征融合等方面，具体为一种基于层次联合卷积网络特征的弱监督图像语义分割方法。

背景技术

图像语义分割是计算机视觉中的三大基本任务之一。图像语义分割的定义是对出现的所有像素一一进行分类。而由于它是像素级的分类任务，因此相对图像分类和目标识别的难度要大很多。目前，领先的语义分割算法大多数都通过卷积神经网络(Convolutional Neural Network，CNN)特征提取。虽然CNN相对传统模型具有极大的优势，但是要想较好地拟合深层CNN需要大量标签数据。然而像素级别图像语义分割标签的制作会消耗大量的人力和物力，使得全监督的语义分割模型很难进行快速扩展，基于弱监督学习的图像语义分割技术受到越来越多的关注。其中基于图像类别标签的弱监督图像语义分割最受关注。

如何联系图像分类与语义分割是基于图像类别标签实现弱监督图像语义分割的研究焦点之一，因为图像分类只需要典型特征的支持，它们往往分布于目标的部分区域。通常直接通过图像分类网络得到的分割结果不够准确完整。首先，Singh等人提出一种将输入图像进行掩盖从而迫使网络学习弱势特征实现弱监督目标定位以及行为定位的模型(Singh K K,Lee YJ.Hide-and-Seek:Forcing a Network to be Meticulous forWeakly-supervised Object and Action Localization[J].2017.)。后来，魏等人提出一种基于多实体对抗擦除显著性区域完成弱监督语义分割的方法(Wei Y,Feng J,Liang X,et al.Object Region Mining with Adversarial Erasing:A Simple Classificationto Semantic Segmentation Approach[J].2017:6488-6496.)。其缺点是需要训练多个相同结构的网络分别负责识别与定位不同显著性的区域特征。且多个实体之间相互独立，并没有显示地相互关联进而动态调整。而利用单个网络同时自动掩盖不同显著性区域特征，实现更全面且完整的区域特征挖掘的弱监督语义分割方法还没有被提出和应用。

发明内容

为了丰富卷积网络特征的多样性，提高弱监督图像语义分割中次显著特征的识别能力，本发明提供了一种基于层次联合卷积网络特征的弱监督语义分割方法。

本发明采用的技术方案具体如下：

步骤1：确定图像X和对应的输出类别标签y。选择卷积神经网络Φ作为基础模型,图像X输入网络Φ后得到基本特征图

F＝Φ(X) (1)

其中h，w和c分别代表基本特征图的长，宽和通道数。

步骤2：将基本特征图F分k个层次掩盖。第i个层次的掩盖矩阵为当前层次以前的所有掩盖矩阵的叠乘与基本特征图进行逐通道的乘积得到掩盖特征图：

其中⊙即为哈达玛乘积。除例外情况，本说明书后文表达式将默认为所有k个个层次。

第1个层次掩盖矩阵的值全部为1：

其它层次掩盖矩阵的值计算方法见步骤7。