[发明专利]一种基于对比学习的域适应物体检测方法及装置

说明书

本发明公开一种基于对比学习的域适应物体检测方法及装置，属于计算机视觉技术领域，采用深度神经网络中的ResNet网络，配合对比学习以及特征解耦模块，能够在数据集中只有源域图像数据有标注而目标域图像数据没有标注的情况下匹配源域和目标域中的特征并从中解耦出域不变特征，并以域不变特征为基础进行物体检测。在训练过程中利用对比学习实现了源域和目标域特征的对齐，提高了解耦后特征的一致性，获得了更好的域不变特征，提升了在目标域上的物体检测效果，结果具有高精度高召回率，表明网络域适应能力很强。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种能够实现域适应的物体检测方法及装置。

背景技术

机器学习已经在例如图像识别、物体检测等多个领域中得到了广泛应用。对于常见的机器学习任务，例如物体检测而言，要实现某一特定环境下的物体检测，如果只使用公开的通用数据集会面对训练集(源域)和测试集(目标域)中的样本分布不一致的问题，导致训练得到的模型不能得到良好的预测结果；但是如果为特定任务去收集并标注一个足够大的数据集的成本又极为高昂。为了解决这样的矛盾，学界提出了域适应的概念，其核心在于找到源域和目标域的相似性，并利用这种相似性将源域中学习的知识用于目标域，在不对目标域数据集进行标注的情况下完成模型的训练。在应用了域适应方法之后，针对特定任务的训练就可以使用公开的通用数据集配合无标注的目标域数据集进行训练，极大地降低成本。例如，要训练一个能用于某一城市的街景识别模型，可以使用来自其它城市已有的街景数据集，配合本城市的无标注街景图像进行训练，能够省下对本城市的街景图像进行标注的成本。

域适应物体检测方法的主要难点在于正确地找到源域和目标域之间相似之处并加以保留，与此同时消除源域和目标域之间的分布差异，由于在训练过程中只有来自源域的数据是有标注的，如果不能解决上述的两个难点就会导致检测结果偏向源域，在目标域上会出现错检、漏检等问题。现有的域适应物体检测方法可以分为三类：一是基于领域分布差异的方法，这类方法通常从数据分布着手，通过某种统计规则来度量域之间的差异，例如最大均值差异、协方差矩阵差异、中心距差异、“搬土”距离等规则，并约束模型将两个域间的差异尽量缩小；二是基于对抗学习的方法，这种方法的思路来源于生成对抗网络，核心是训练一对特征提取器和领域判别器，前者试图从来自不同域中的样本中提取出不变的特征，后者试图判断前者提取到的特征来源于哪个域。在训练完成后，特征提取器就可以提取出同时具有类别区分性和领域不变性的特征，实现域适应的目标；三则是基于重构的方法，使用一对配合的编解码器，编码器负责提取出域不变特征，解码器则负责将这部分特征重构成原本的形态，在训练完成后，编码器提取到的特征就可以用于物体检测。

近年来，针对特定场景的物体检测任务越来越多，如针对不同城市的街景识别、针对不同天气的路况检测、针对不同成像设备的物体检测等等，这类任务的提出给了域适应物体检测方法很大的发挥空间。现有域适应物体检测方法通常基于前述三种方法以及它们的组合，但仍存在错检漏检等问题，这反映了已有方法对源域和目标域中域不变特征的提取还不够完善，进一步改进这些方法是很有必要的。

发明内容

本发明针对物体检测任务中只有源域标注而缺少目标域标注的情况，提出了一种基于对比学习的域适应物体检测方法及装置。

本发明采用的技术方案如下：

一种基于对比学习的域适应物体检测方法，包括以下步骤：

构造由特征解耦提取模块、物体检测模块和对比学习模块组成的域适应物体检测网络；该特征解耦提取模块以ResNet-101作为基础卷积神经网络结构，包括浅层特征提取模块、浅层特征解耦模块、深层特征提取模块和深层特征解耦模块；

对于输入的图像数据，该特征解耦提取模块通过浅层特征提取模块提取图像的浅层特征图，再通过浅层特征解耦模块处理浅层特征图得到域相关特征和域无关特征；再将域无关特征加入到浅层特征图中，通过深层特征提取模块提取深层特征图，最后通过深层特征解耦模块处理深层特征图得到深层域相关特征和深层域无关特征；物体检测模块根据深层域无关特征对物体进行定位和分类；