[发明专利]一种基于无监督域适应的图像自动标注方法

权利要求书

1.一种基于无监督域适应的图像自动标注方法，其特征在于，包括如下步骤：

步骤1，获取源域图像和标注，以及目标域图像；

步骤2，搭建检测框架，构建域分类器来抽取全局特征和局部特征；

步骤3，得到训练好的域适应检测模型；

步骤4，用已有的最新模型对测试数据集进行检测，得到初步检测结果；

步骤5，对初步检测结果进行二次处理，提取生成PASCAL VOC格式的xml标注文件；

步骤6，如果xml标注文件数目不够则将已标注好的目标域数据投入原源域中作为新的源域数据进行二次域适应训练。

2.根据权利要求1所述的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，搭建Faster R-CNN框架：输入图片表示为Height×Width×Depth的张量形式，Height、Width、Depth、分别表示高度、宽度、深度，经过预训练CNN卷积神经网络模型的处理，得到卷积特征图conv feature map；然后区域生成网络RPN对提取的卷积特征图进行处理，RPN层用于寻找可能包含对象的预定义的区域即边界框；在获得可能的相关对象和其在原始输入图片中的对应位置后，用CNN模型提取的特征和包含相关对象的边界框，采用感兴趣区域ROI池化处理，并提取相关对象的特征，得到一个新的向量进而计算出区域特征图proposal feature maps，送入后续网络；最后基于R-CNN模块，对边界框内的内容进行分类，并调整边界框坐标；

步骤2-2，构建域分类器：基于步骤2-1的Faster R-CNN框架，在RPN层之前抽取全局特征，在抽取全局特征之前的网络层抽取局部特征，并且依次在高维特征空间使用弱全局对齐，在低维特征空间使用强局部对齐：

在弱全局特征对齐中，域分类器的构建是为了在全局特征对齐中对齐源域和目标域，根据Faster R-CNN框架，使用特征提取器F提取出全局特征向量，网络R将全局特征向量作为输入并且进行初步的检测，i为样例索引值，R(F(x_i^s))为对于源域样例x_i的检测结果，y_i^s为样例真实结果，指代检测中包括分类和回归的损失，n_s表示源域样例的数目，得到检测损失函数

加入调制因子f(p_t)让容易区分的样本产生一个极小的损失：-f(p_t)log(p_t)，其中，d为域标志，如果d＝1，即源域，p_t＝p，否则p_t＝1-p；

使用损失函数Focal Loss，用FL(p_t)表示，γ为控制权重因子，控制难以分类的样本集合的权重，计算公式为：FL(p_t)＝-f(p_t)log(p_t)，f(p_t)＝(1-p_t)^γ，为让目标域样本与源域样本能对齐，f(p_t)用另一种形式，为了得到域分类器D_g，弱全局域适应分类器的损失在源域和目标域分别为和联合损失为

从而直接在局部特征上实现对齐；

对于强局部特征对齐：将特征提取器F拆解为F₂^oF₁，F₂^oF₁表示特征提取器F₂与特征提取器F₁的复合，F₁的输出作为局部域分类器D_l的输入，F₁输出宽和高分别为W和H的映射，D_l输出一个与输入特征具有同样宽度和高度的域预测图，并利用最小平方损失来训练域分类器，得到源域损失目标域损失联合损失

D_l(F_l(x_i^s))_wh指代域分类器在每个位置的输出，损失被设计成让所有特征的接受域与另一个域对齐；

基于上下文的正则化：从源域分类器和目标域分类器的中间层抽取特征向量，所述特征向量因为包含输入图片的信息因此又称为内容向量Context Vector，然后去跟RPN的输出进行拼接，进而预测类别和检测框，所有对抗损失如下：

整个目标定义为最大最小化损失，如下所示：

其中λ是一个权衡参数。