[发明专利]一种基于领域自适应的协同训练方法

说明书

本发明公开了一种基于领域自适应的协同训练方法，利用其中一方的高置信度输出对另一方进行训练，对两方输出置信度均低的候选区域利用最大化分类器差异方法进行处理；另外，在骨干网络的特征对齐上，利用了RPN的输出，用以计算特征图上每个点的前景概率，对前景概率较大的区域，在特征对齐时给予更大的权重；实现提高模型在无标签领域上的目标检测能力，降低目标检测模型对标注数据的需求，减轻对人力资源的依赖。

技术领域

本发明涉及模型训练领域，尤其涉及一种基于领域自适应的协同训练方法。

背景技术

深度学习的发展使计算机视觉领域取得了长足的进步，然而深度学习模型训练所需要的巨量的标注数据制约着深度学习的广泛应用。目标检测任务需要更细粒度的标注，因此问题尤其严重。领域自适应试图将模型从富于标注数据的领域迁移(源领域)到缺乏标注数据的领域(目标领域)，从而解决此问题。

目前，目标检测上的领域自适应主要分为两类方案。

(1)特征层次上的领域自适应，主要手段是通过对抗学习实现对两个领域特征的对齐。此时由于目标检测的图像相对复杂，需要进行额外的处理。Faster RCNN是广泛应用在目标检测问题上的深度学习模型，是二阶段目标检测模型的代表，具有一定的典型性。DA-faster针对Faster RCNN模型进行处理，一方面对骨干网络提取到的图像全局特征进行特征对齐，另一方面对经过ROI池化得到的ROI特征进行特征对齐。SWDA通过图像局部特征的强对齐和图像全局特征的弱对齐实现目标检测任务上的领域自适应。SCDA将源领域上训练得到的模型应用到目标领域，从得到的候选区域中构建新的图像区块，然后对这些区块的特征进行对齐。

(2)图像层次上的领域自适应，主要手段是利用生成对抗网络，将源领域的图像生成为目标领域图像，从而利用原本的标注进行模型的训练。DDMRL利用Cyc leGAN对同一张源领域图片生成不同的图像用以训练，从而使目标检测模型具有更好的领域泛化能力。

然而，图像层次上的领域自适应模型和流程更为复杂，需要更高的算力。而现有的特征层次上的领域自适应方法均将重点放在如何让骨干网络提取出对两个领域均一致的特征。目标检测网络具有更加复杂的结构，其中二阶段网络由骨干网络，区域候选网络和候选区域分类器组成。忽视另外两个部分，尤其是区域候选网络，会导致模型无法生成优质的候选区域，进一步限制检测性能。

如图1所示，原版Faster RCNN进行目标检测的具体流程如下：

1、对于任一图像，骨干网络F将其作为输入提取出特征。2、将骨干网络提取得到的特征送入区域候选网络(RPN)，区域候选网络对每个区域判断其属于前景和背景的概率，将其前景概率较高的区域作为候选区域。3、这些候选区域，和骨干网络提取得到的图像特征被一并送入候选区域分类器(RPC)。RPC对每个候选区域，从图像特征上的对应位置获得该区域的特征(即ROI池化操作)。4、RPC针对每一个候选区域的特征产生一个输出，标明该候选区域属于每个具体类别的概率。此处“具体类别”包括若干物体类别和一个背景类别。此时针对概率进行筛选，便得到了目标检测框和其预测类别。

将Faster RCNN迁移到无标签的目标领域时，由于领域差异的存在，性能会有所下降。对于这个问题我们针对Faster RCNN的结构中进行改进。我们认为，RPN和RPC可以近似地看作接续骨干网络的两个平行结构，其中用以确定候选区域的信息从RPN单向流入RPC。对于这些候选区域中的每一个，RPN会产生其前景概率和背景概率，而RPC会产生其属于背景或任一类别的概率。理想状况下，这两个概率之间应当保持一致，即，RPN前景概率较低的候选区域，RPC的输出中属于背景的概率较高；反之，RPN前景概率较高的候选区域，RPC的输出中所有类别概率之和应该较高。另一方面，我们发现RPC面对领域间差异具有更好的健壮性，可以充分利用RPC输出中高置信度的候选区域用以反向训练RPN。