[发明专利]训练与推理数据分布不一致条件下的图像细粒度识别方法

权利要求书

1.训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：将数据增广后的批量图片利用检测-细粒度识别两阶段模型进行图像细粒度识别，检测模块负责检测出大类目标位置，经感兴趣区域和粘贴模块后，再由细粒度识别模块识别出图像中目标子类，方法包括如下步骤：

(1)将输入图片进行数据增广；

所述步骤(1)中对图像进行数据增广，具体步骤为：

步骤2.1：将输入图片使用离线旋转和在线旋转来增强，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，同时也使用亮度增强和随机裁剪方式进行数据增强；

(2)将处理好的图片送入检测模块，检测出目标大类位置信息；

所述步骤(2)中将步骤1处理好的批量图片送入检测模块，该模块使用VGG-16基础网络进行特征提取，将最后一层特征图送入回归层，进行目标大类类别、坐标位置以及置信度的回归，具体步骤为：

步骤2.1：计算所有候选锚点框与真值框之间交并比，首先，对基础网络VGG16所提取的最后一层特征图，将其划分成28x28的网格，每一个小的划分单元为一个cell；对每一个cell，有预先设计的9个锚点框；对每一个锚点框来讲，都用其预测出一个四边形pred；对于每一个pred来讲，本算法计算每一个pred和所有真值之间的交并比；

步骤2.2：划分正负候选样本，根据步骤3.1中所求的pred和所有真值之间交并比，设定一个门限值为IOU_THRES，将IOUIOU_THRESH的pred对应的锚点框划分为候选正样本，反之，则为候选负样本；由于候选负样本的数量远大于候选正样本，可能存在样本不均衡的问题，因此，本算法从候选负样本中随机的选取一定数量的负样本，使正负样本比例为1：3，这样便确定了训练过程中的正负样本；

步骤2.3：负样本处理，对于负样本而言，由于不包含目标的位置信息，本算法只需要让它的置信度通过学习，降低到0即可，这个学习过程通过计算置信度下降的梯度，并回传更新权重来完成；

步骤2.4：正样本处理，对正样本而言，首先需要将其置信度置为1，所以不仅需要更新其置信度为向交并比接近，而且需要学习目标的位置信息；

1)对于置信度的学习，同负样本类似，是通过计算置信度变化梯度，回传更新权重即可；

2)对于目标的位置信息的学习，本算法需要遍历每一个真值框，计算其中心位置坐标(i，j),然后对该(i，j)所属的网格cell中的每一个锚点框，本算法都计算其预测框和真值框之间的交并比，取交并比最小的pred对应的锚点框作为最佳匹配best_锚点框，然后利用该锚点框和特征图信息计算预测目标四边形pred_best的位置坐标信息，将pred_best和锚点框坐标一一对应，计算各点横纵坐标偏差，计算梯度，并八通道独立回传更新权重；

3)计算分类的损失函数softmaxloss，计算梯度并回传更新权重；

本步骤中目标大类坐标偏差预测与梯度生成公式为

其中，pred，anchor，GT分别表示预测四边形顶点坐标序列，锚点框角点坐标序列，真值框角点坐标序列，x[i]表示检测模块最后一层特征提取的位置信息，w，h表示最后一层特征图的尺寸，这里的i指的是上述三者匹配的所有集合中的一个，采用所有diff平方误差最小作为损失函数训练，经过检测后得到大类类别的坐标位置信息，供后续模块使用；

(3)将上步得到的位置信息送入感兴趣区域和粘贴模块，得到统一背景下的目标图片；

所述步骤(3)中对检测模块的输出进行感兴趣区域和粘贴操作，具体步骤为：

步骤3.1：将步骤2检测模块预测得到的大类目标位置坐标信息输入到感兴趣区域辅助模块，得到目标的感兴趣区域；

步骤3.2：将步骤2.1中的输出结果送入到粘贴模块，该模块功能是将步骤2.1得到的感兴趣区域粘贴到一个WxH的黑色背景图片上，注意：由于本算法对训练数据和推理数据均进行粘贴操作，这消除了目标不同背景干扰的影响；

(4)将上步得到的批量图片送入细粒度识别模块，得到图像细粒度识别结果。