[发明专利]基于层级类激活图的目标定位方法、系统及计算机设备

说明书

本发明涉及深度学习领域和物体检测领域，本发明公开了基于层级类激活图的目标定位方法、系统及计算机设备，该方法构建了一个层级模型，在卷积层后面采用全局平均池化层或金字塔池化层来替代传统的全连接层，以避免在全连接层丢失图像结构信息。该方法在低层中的多个卷积层采集相应的特征信息，从而获得层级类激活图。本发明的层级类激活图不仅仅是从最后一层采集特征图，而是在低层中的多个卷积层中进行采集，从而减少低层图像信息的丢失，提高了图像定位能力。

技术领域

本发明涉及深度学习领域和物体检测领域，具体是使用深度学习技术实现物体检测下的目标定位；具体为一种基于层级类激活图的目标定位方法。

背景技术

近年来，随着深度学习技术的快速崛起，图像领域下对物体检测的研究已经取得了很重要的进展。其中最流行的物体检测算法可分为两种类型：(1)两步法，即先通过CNN网络结构产生一系列稀疏的候选框，然后对这些候选框进行分类处理。(2)一步法，类似于SSD思想，在图像不同位置采用不同尺度的长宽比对图像进行密集抽样，利用CNN提取特征，直接进行分类。其中物体检测下的目标定位主要是，从图像或者视频中把我们所关注的目标与背景分开。对于目标定位任务的方法分为弱监督方法和强监督方法。

弱监督目标定位方法和强监督方法不同，弱监督方法只需要图像级的标注，不需要人为标注目标的位置信息、大小信息，如边界框等。这样可以降低人类的工作量，同时也降低了计算量。由于有边界框的数据集是少数的，更多的数据集只有图像级的标注，所以相对于强监督方法，弱监督方法适用性更广。

目前很多研究者都选择使用弱监督方法，但在实验过程中，他们发现使用卷积神经网络(CNN)的卷积层可以直接定位目标，然而经过全连接层后却会导致目标定位能力缺失。为了增强目标定位的能力，很多人提出使用全卷积层的网络结构，如网络中的网络(NIN)和全卷积网络(FCN)的提出，以避免使用全连接层来最小化参数的数量，同时还能保持高性能。

针对之前使用的网络结构，很多人选择在最顶层卷积层中提取feature map，进行池化操作，以保留空间特性。如oquab等用自适应卷积层和全局最大池化替代卷积网络中的全连接部分，增强了卷积网络在弱监督中的定位能力。但这种方法只能定位一个点，且所用的评价方法是作者自己定义的，不能通用。在此基础上Zhou等用一层1024个通道的3*3卷积层和全局平均池化代替全连接层。与oquab等的方法相比定位能力有很大的提升，但只能定位到目标的一部分。该方法只从卷积网络的最顶层提取特征信息，对于小物体背景过多的情况，相对会缺失低层的信息。Zhiqiang等在zhou等方法的基础上，用空间金字塔池化替代全局平均池化，使定位能力进一步提高。综合上面的方法存在一个问题，它们都是从卷积层的最顶层提取特征信息，会造成底层信息缺失，定位准确率相对降低。

发明内容

基于现有技术存在的问题，本发明针对在目标定位中因底层信息缺失造成定位能力不准确这一缺点，对基础卷积网络进行了一些修改。分别在卷积层4-3、卷积层4-4、卷积层5-3、卷积层5-4等后面添加一层1024个通道的3*3卷积层，并把a1与a2的padding设为0，提出一种新型的层级网络结构。并从不同层级的特征图得出层级类激活图，提出了一种新型的类激活图，以弥补相对低层信息的缺失，从而提高定位能力。

本发明的一种基于层级类激活图的目标定位方法，所述方法包括将待预测图像即输入图像输入卷积层级结构，并提取出待预测图像的层级特征，生成待预测图像的层级类激活图，保留层级类激活图中的部分值，并生成能预测出待预测图像中待测目标的边界框；根据该边界框从而输出待预测图像的定位后的目标位置；边界框也即目标的位置，在目标定位或目标检测任务中，本领域普通技术人员应该清楚，最后目标的的位置是用边界框表示的。

其中，层级类激活图的生成包括以下步骤：

S1、构建待预测图像的卷积层级结构，包括在VGG19网络结构中的卷积层4-3、卷积层4-4、卷积层5-3、卷积层5-4后面分别添加一层自定义卷积层；