[发明专利]一种基于候选区域面积和宽高的自适应特征块提取方法

权利要求书

1.一种基于候选区域面积和宽高的自适应特征块提取方法，其特征在于包括如下步骤：

(1)图像划分，将图像划分成训练集和测试集两部分，两个部分不存在相同的图像，训练集用来训练检测模型，测试集用来评估检测模型的性能，且训练集和测试集中不仅包含图像，还包含图像中目标对象的位置信息和类别信息；

(2)图像预处理，包括随机上下翻转、随机左右翻转和随机光照改变等，其中随机上下翻转、随机左右翻转和随机光照改变只针对训练集，特别的，当进行随机上下翻转和随机左右翻转的时候，目标对象的坐标信息也需要做出相应的变化；

(3)训练检测模型，将经过图像预处理后的训练集中的图像和标签信息输入到基于自适应特征块提取的带有特征金字塔网络的Faster R-CNN的检测模型中进行训练，获取各图像中目标对象的预测框和类别，并与实际的标签信息中的真实框和类别进行对比，计算出回归损失和分类损失，其中回归损失和分类损失包含了区域建议网络的损失还有第二阶段的损失，然后采用多学习任务的方法，利用带动量的梯度下降算法进行训练；

(4)测试检测模型，将测试集中的图像输入到训练好的基于自适应特征块提取的带有特征金字塔网络的Faster R-CNN的检测模型中进行检测，获得测试图像中目标对象的位置和类型，并统计检测模型的检测精度。

2.根据权利要求1所述的一种基于候选区域面积和宽高的自适应特征块提取方法，其特征是：

所述步骤(3)中训练包括构建检测特征图和获取正负样本的步骤、获取区域建议网络损失值的步骤、获取候选区域的步骤、通过自适应特征块提取方法获取候选区域最终特征块的步骤、获取第二阶段损失值的步骤和多任务学习的步骤。

3.根据权利要求2所述的一种基于候选区域面积和宽高的自适应特征块提取方法，其特征是：所述步骤(3)具体为：

(3.1)构建带有特征金字塔网络的Faster R-CNN检测模型，其中骨干网络是ResNet50。输入图像经过骨干网络进行特征提取后形成不同大小的特征图，浅层的特征图的分辨率较大，包含的细节信息较多但语义信息较少；深层的特征图的分辨率较小，包含的细节信息较少但语义信息较多。通过从上而下和横向连接的方式构建检测特征图，形成特征金字塔网络。对这些检测特征图通过卷积操作预测不同特征图上不同特征点映射回原图上的点的若干个anchors的前背景分类概率和相对平移缩放参数，同时不同检测特征图上不同特征点映射到原图上的点对应的anchors与真实框计算交并比，如果与真实框的交并比最高或者与任意真实框的交并比大于0.7的anchor则认为是正样本，而与所有真实框的交并比都小于0.3的anchor则认为是负样本；

(3.2)从正负样本集中分别选择128个正样本和128个负样本，组成正负样本比例为1:1的正负样本集。如果正样本集中正样本的数目不足128个，则取出所有正样本，并从负样本从选取若干个负样本，组成256个正负样本。如果正样本集中正样本的数目多于128个，则采用随机采样的方式获取128个正样本。如果负样本集中负样本的数目多于128个，也采用随机采样的方式获取128个负样本。正样本在此的类别为前景，负样本在此的类别为背景，同时可以获取正样本与对应真实框之间的真实平移缩放参数。利用正负样本的类别和模型预测的前背景概率值，利用交叉熵损失函数计算分类损失。利用正样本与对应真实框的真实平移缩放参数和模型预测的相对平移缩放参数，利用smoothL1函数计算回归损失。最终合并分类损失和回归损失，获取区域建议网络的损失值；

(3.3)通过区域建议网络的预测平移缩放参数对anchor boxes进行位置调整，得到候选框。根据候选框的预测前景概率值大小，从5个检测特征图中分别获取2000个候选框，合计10000个候选框。对10000个候选框进行非极大值抑制操作，并获取前景概率值最大的2000个候选框作为候选区域；

(3.4)获取候选区域的面积、宽度和高度，并根据这些信息获取相应的检测特征图，然后根据候选区域在原图中的位置和感受野计算，获取候选区域在相应检测特征图上的特征块。接着对这些特征块分别通过RoI pooling层，得到维度一致的候选区域特征块。最后对这些候选区域特征块进行自适应融合，获取候选区域的最终特征块。其中自适应融合是一种逐点取最大值的方式进行融合。

(3.5)利用候选区域的最终特征块通过全连接层，获取细分类的类别置信度和预测相对平移缩放参数，计算出细分类误差和回归误差，其中分类损失是采用交叉熵损失函数，回归损失是采用smoothL1函数。合并第二阶段的分类损失和回归损失，得到第二阶段的损失值；

(3.6)合并区域建议网络的损失值和第二阶段的损失值，得到检测模型总的损失值，利用带动量的梯度下降算法进行训练。