[发明专利]基于弱监督信息的深度学习图像目标映射及定位方法

说明书

本发明提供了一种基于弱监督信息的深度学习图像目标映射及定位方法。该方法包括：使用带有类别标签的图像数据分别训练两个深度卷积神经网络框架，得到分类模型M1和分类模型M2，并获取全局带参可学习池化层参数；使用新的分类模型M2对测试图像进行特征提取，得到特征图，根据特征图通过特征类别映射及阈值法得到初步定位框；使用选择性搜索方法对测试图像进行候选区域提取，使用分类模型M1筛选类别出候选框集合；对初步定位框和候选框进行非极大值抑制处理，得到测试图像最终的目标定位框。本发明引入全局带参可学习池化层，能够学习得到关于目标类别j的更好的特征表达，并通过使用选择性特征类别映射的方式，有效得到图像中目标物体的位置信息。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于弱监督信息的深度学习图像目标映射及定位方法。

背景技术

随着以深度卷积神经网络为代表的深度学习技术的发展，图像分类和图像目标识别领域取得了巨大的突破性进展，并且引发了很多影响力极大的学术研究和相关的产业应用。在2015年的全球大规模视觉识别竞赛(ILSVRC)中，微软亚洲研究院提出的深度残差模型以3.57％的识别错误率获得冠军，并且首次超过人类的识别准确率。

2014年提出的区域卷积神经网络(RCNN)，首次将深度卷积网络用于图像目标检测任务，性能较传统基于手工特征的图像目标检测方法提升明显。在此之后，各种基于卷积神经网络的目标检测方法，例如快速区域卷积神经网络、更快的区域卷积神经网络等等方法，使得通用目标检测的性能不断提升。但上述方法都依赖于大量的完备位置标注的标签信息来训练卷积网络和区域回归模型，即在训练过程中不仅在给定目标的类别信息，还需要额外提供目标在图像中的位置信息，这也就要求研究者在训练深度网络前，需要对数据进行位置信息的标注。在实际应用场景中，对于大量的图片进行手工位置标注，需要耗费大量的时间成本和人力成本。

如何在只使用弱监督的标注数据来学习目标定位和检测是计算机视觉领域极有研究和应用价值的问题。我们关注的弱监督问题，是指为实现某个计算机视觉任务，采用了比该任务更多的一种人工标注作为监督信息。一般来讲，这种弱监督的标注比原始的标注更容易获得。在深度学习技术兴起以前，这种基于弱监督学习的方法通常依赖于对图像不同目标的特征进行聚类。例如授权公告号为CN103336969B的发明专利，联合谱聚类与判别式聚类的双重聚类方法，对由过分割方法得到的图像子区域进行聚类，实现对图像进行语义标注。

在以深度卷积神经网络为代表的深度学习技术出现后，相关研究表明，在使用深度卷积神经网络对图像进行特征提取时，再最后一个卷积层的特征图上，将会保留图像的部份语义和空间信息。但这些语义和空间信息在卷积特征图送入全连接网络层的时候，会遭到完全破坏。为了避免全连接层对语义和空间信息的破坏，现有技术中的图像映射方法使用了全局平均池化或者全局最大值池化的方法，将卷积特征图直接映射到一个特征点，然后使用单层的全连接网络对特征点进行聚合分类。

上述现有技术中的图像映射方法的缺点为：这种使用计算全局平均值或者全局最大值的方法对特征图进行池化的方法，会导致池化后的特征点对原始特征的表征能力不够。

发明内容

本发明的实施例提供了一种基于弱监督信息的深度学习图像目标映射及定位方法，以解决现有技术的缺点。

为了实现上述目的，本发明采取了如下技术方案。一种基于弱监督信息的深度学习图像目标映射及定位方法，包括如下步骤：

S1，使用人工标注带有类别标签的图像数据训练深度卷积神经网络框架，得到分类模型M1；

S2，在所述深度神经网络框架中删去卷积层后所有的全连接层，并加入一个全局带参可学习池化层和最后的分类全连接层，得到新的深度卷积神经网络框架；

S3，使用人工标注带有类别信息标签的图像数据训练所述新的深度卷积神经网络框架，得到新的分类模型M2，并获取全局带参可学习池化层参数；