[发明专利]一种基于变形平面物体检测网络的大角度车牌检测方法

权利要求书

1.一种基于变形平面物体检测网络的大角度车牌检测方法，该变形平面物体检测网络由主干网络和预测网络顺序连接组成，其特征在于，所述的大角度车牌检测方法包括下列步骤：

S1、使用卷积层、池化层、Relu层构造大角度车牌检测的主干网络，作为车牌图像的特征提取器，其中卷积层中卷积核的尺寸为k*k，采用主干网络对输入的车牌图像进行特征提取得到特征图；

S2、构建预测网络，预测网络具有两个并行的卷积层，分别称为第一卷积层和第二卷积层，在所述的第一卷积层内，用2个m*m的卷积核在主干网络输出的特征图上滑动计算得到第一实例特征图，其中m为卷积核的尺寸，将第一实例特征图通过Softmax激活函数，得到置信度特征图；在所述的第二卷积层内，用6个n*n卷积核在主干网络输出的特征图上滑动计算得到第二实例特征图，其中n为卷积核的尺寸，将第二实例特征图通过Linear激活函数，得到仿射特征图，最后将仿射特征图和置信度特征图在通道维度上进行拼接操作，得到预测特征图F_T，其中，所述的预测特征图F_T含有8通道，8通道内数值分别定义为v_i,i＝1～8，其中v₁,v₂分别表示预测框含有目标的置信度和不含有目标的置信度，v_3～8分别表示仿射矩阵元素；

S3、设计损失函数对主干网络和预测网络进行训练；

S4、将所述的预测特征图F_T，以(m,n)点单元为中心，构造四个虚拟角点q_i,i＝1～4，其中m、n分别表示预测特征图F_T中点单元的横坐标和纵坐标，然后对四个虚拟角点进行仿射变换得到目标四个预测角点坐标l_i,i＝1～4；

S5、根据预测角点坐标l_i，求解透射变换方程组，得到单应性矩阵，然后根据单应性矩阵矫正图像，并利用v₁、v₂剔除置信度低的矫正图像，得到最后的检测结果。

2.根据权利要求1所述的一种基于变形平面物体检测网络的大角度车牌检测方法，其特征在于，所述的主干网络具体结构如下：

从输入层至输出层依次连接为：卷积核的尺寸为3x3、个数16的卷积层conv；Relu层conv_relu；卷积核的尺寸为3x3、个数16的卷积层conv；Relu层conv_relu；池化层max_pooling；卷积核的尺寸为3x3、个数32的卷积层conv；Relu层conv_relu；池化层max_pooling；卷积核的尺寸为3x3、个数32的卷积层conv；Relu层conv_relu；池化层max_pooling；卷积核的尺寸为3x3、个数64的卷积层conv；Relu层conv_relu、池化层max_pooling；卷积核的尺寸为3x3、个数128的卷积层conv。

3.根据权利要求1所述的一种基于变形平面物体检测网络的大角度车牌检测方法，其特征在于，所述的损失函数由两部分组成，第一部分为角点坐标距离损失函数，第二部为置信度损失函数，其中，所述的角点坐标距离损失函数计算过程如下：

对虚拟角点进行仿射变换：

对车牌四个真实角点p_i中心化，得到中心化坐标C_mn(p_i)：

其中N_s表示变形平面物体检测网络下采样倍数，

计算真实角点坐标p_i和V_mn(q_i)之间距离误差，得到角点坐标距离损失函数：

其中，所述的置信度损失函数计算公式如下：

其中，为目标指示函数，用来指示预测特征图F_T中(m,n)单元是否包含目标；

所述的损失函数由角点坐标距离损失函数和置信度损失函数相加得到，表达式如下：

4.根据权利要求1所述的一种基于变形平面物体检测网络的大角度车牌检测方法，其特征在于，所述的步骤S5中使用透射变换对预测角点坐标进行转换，得到矫正图像，过程如下：

首先对k，k≥4组不共线的匹配特征点求解仿射方程组，得到单应性矩阵H，然后根据单应性矩阵对原始图像进行透射变换，得到矫正图像，并根据预测坐标裁剪目标区域。