[发明专利]号码识别方法、系统、设备及计算机可读存储介质

权利要求书

1.一种号码识别方法，所述方法包括：

根据视频图像确定第一号码图和所述第一号码图的形变情况；

根据所述形变情况对所述第一号码图进行调整以得到第二号码图；

根据所述第二号码图确定号码；

其中，所述的根据视频图像确定第一号码图和所述第一号码图的形变情况包括：根据所述视频图像确定所述视频图像中的人员图像；利用预先对确定号码图像及号码图像的形变情况进行过训练的空间变换网络，对所述人员图像进行提取特征，以确定四个顶点坐标；将所述四个顶点坐标所围成的四边形作为所述第一号码图，根据所述四边形与预设的矩形之间的形变情况确定所述第一号码图的形变情况；

其中，在训练所述空间变换网络的过程中，加入坐标值的回归损失函数以进行基于坐标位置监督的号码识别；其中，所述回归损失函数由分类损失和定位损失L_loc确定，所述定位损失L_loc由以下算式得到：

其中，p为空间变换网络所预测的坐标，g为正确标注数据的坐标，为FasterR-CNN中的平滑L₁，v∈(x,y)表示同时需要对横纵坐标分别计算误差，p₁、p₂、p₃、p₄分别表示所述四边形的所述四个顶点。

2.根据权利要求1所述的号码识别方法，其中，

所述回归损失函数L为：

其中，N为训练中的批数，α为权重项，L_cls为所述分类损失。

3.根据权利要求1所述的号码识别方法，其中，所述的根据所述视频图像确定所述视频图像中的人员图像包括：

根据视频图像确定所述视频图像中的多个区域以及每个所述区域的置信度，所述置信度用于表示所述区域为人的程度；

将所述置信度大于预设的设定值的区域作为人员图像。

4.根据权利要求1所述的号码识别方法，其中，

所述的根据视频图像确定第一号码图和所述第一号码图的形变情况包括：根据所述视频图像确定空间变换矩阵，所述空间变换矩阵用于表示所述第一号码图的旋转和/或缩放和/或平移的情况；

所述的根据所述形变情况对所述第一号码图进行调整以得到第二号码图包括：根据所述空间变换矩阵对所述第一号码图中的点的坐标进行调整以矫正所述第一号码图。

5.根据权利要求4所述的号码识别方法，其中，所述的根据所述形变情况对所述第一号码图进行调整以得到第二号码图还包括：

对经过矫正的所述第一号码图进行插值处理，以得到第二号码图。

6.根据权利要求1所述的号码识别方法，其中，所述的根据所述第二号码图确定号码包括：根据所述第二号码图确定号码的位数以及每一位号码的取值。

7.根据权利要求1到6中任意一项所述的号码识别方法，其中，所述的根据视频图像确定第一号码图和所述第一号码图的形变情况和/或所述的根据所述第二号码图确定号码为利用卷积神经网络进行的。

8.根据权利要求7所述的号码识别方法，其中，所述的在训练所述空间变换网络的过程中，加入坐标值的回归损失函数以进行基于坐标位置监督的号码识别，具体包括：采用半监督方式确定所述第一号码图和所述第一号码图的形变情况。

9.根据权利要求8所述的号码识别方法，其中，所述的采用半监督方式确定所述第一号码图和所述第一号码图的形变情况，具体包括：

在训练前，把带有分类标签的数据和带有定位标签的数据进行混合；在训练中，当得到带有所述定位标签的数据时，将所述分类损失及所述定位损失同时进行反向传播，当得到数据只有所述分类标签时，对所述分类损失进行反向传播，以使得整个所述空间变换网络成为半监督空间变换网络。