[发明专利]一种基于显著性指导的端到端的弱监督目标检测方法

说明书

本发明公开了一种基于显著性指导的端到端的弱监督目标检测方法。此方法构造一个深度神经网络，在弱监督分类器网络的基础上增加目标框的显著性子网络；同时利用弱监督方法训练得到的类别相关的显著图，用上下文差异的准则选取类别相关的种子目标区域，用来监督训练显著性子网络和分类器子网络。本方法与以往的弱监督目标检测方法相比，得到了更好的性能，同时只需要图像级标签进行训练，减少了标注训练数据的工作量。

技术领域

本发明涉及图像目标检测方法，具体涉及了一种基于显著性指导的端到端的弱监督目标检测方法。

背景技术

目标检测旨在用矩形框标记出图像中的目标及其类别。传统的基于机器学习的目标检测方法，一般属于监督学习的方法，它需要带有矩形框真值的训练数据。但是在大数据场景下，标记大量的矩形框需要耗费大量的人力，因此限制了监督学习的方法在大规模数据集上的应用。

为了解决训练数据昂贵的问题，近年来，研究者发展出了基于弱监督标记的学习方法。弱监督标记虽然监督能力比监督标记弱，但是获得弱监督标记的代价要远远小于监督标记。比如对于目标检测问题来说，图像级标签是一类弱监督标记，标记图像级标签，即标记出图像中有哪些类别的目标，所需的工作量要远远小于标记出每个目标的具体位置。

另一方面，随着社交网络的兴起，互联网上有大量用户标记的数据，这类标记通常都是图像级的标签，因此，弱监督学习方法可以利用这些免费的海量标记，从而进一步减少标记的工作量。这样弱监督学习的方法相比监督学习的方法在大数据时代有更大的用武之地。

然而弱监督的目标检测是一个十分困难的问题，原因在于弱监督标记缺少位置信息，导致无法对目标进行精确的建模。为了改善位置信息缺失的问题，一些方法尝试恢复位置信息，如Bilen等人通过在网络中加入一个新的分支，得到每个候选目标区域是否为目标的分数。但是这些方法仅利用深度神经网络中的特征来获得，没有挖掘图像中更多的信息，因此对目标检测性能的提升不大。

发明内容

本发明的目的在于提供一种基于显著性指导的端到端的弱监督目标检测方法。本方法将类别相关的显著图引入弱监督目标检测中，首先从显著图中获取置信度较高的种子候选目标区域，从而恢复少量置信度高的位置信息，然后利用高质量的位置信息监督训练用来恢复位置信息的显著性子网络，同时也用来监督训练检测器。

本发明采用的技术方案是包括如下步骤：

(1)采集一幅已知图像级标签的图像I，图像级标签为y＝[y₁,y₂,...,y_C],其中y_c代表图像中具有第c个类别物体所对应的标签，标签分为前景标签和背景标签，每个标签属性为前景标签或者背景标签，y_c∈{1,-1}，y_c＝1表示图像中具有第c个类别物体，y_c＝-1表示图像中不具有第c个类别物体，一个标签对应一个类别物体，C为类别物体总数，记T＝{c|y_c＝1}为图像I具有的图像级标签的集合；

(2)对图像I进行处理获得与每个类别物体对应的类别相关显著图M_c、候选目标区域以及与每个候选目标区域相邻的超像素集合；

(3)对于每个类别物体下的每个候选目标区域进行处理计算获得上下文显著值差异然后选取上下文显著值差异最大的候选目标区域作为该类别物体下的种子目标区域，并记录种子目标区域的下标序数值：

其中，Λ_c表示种子目标区域在候选目标区域集合中的下标序数值；

然后获得图像I具有的图像级标签的集合对应的种子目标区域的下标序数值集合Λ_s＝{Λ_c,y_c＝1}；