[发明专利]一种基于深度学习的车牌识别方法及装置

权利要求书

1.一种基于深度学习的车牌识别方法，其特征在于，包括：

获取多张含有车辆车牌信息的图像帧，通过卷积神经网络提取各图像帧的特征，并将提取的各图像帧的特征进行融合，得到各图像帧的特征表示；

通过预定目标检测网络检测所述各图像帧的特征表示，得到所述各图像帧的车牌检测框的类别和位置信息，并根据所述类别和位置信息对所述各图像帧的车牌进行分割，得到分割后的所述各图像帧的特征图；

获取各图像帧中的原始车牌标签信息，根据各原始车牌标签信息和所述各图像帧的特征图，训练得到车牌识别模型；

将待识别图片输入所述车牌识别模型进行车牌识别，识别得到所述待识别图片中的车牌字符。

2.根据权利要求1所述的方法，其特征在于，所述通过卷积神经网络提取各图像帧的特征，并将提取的各图像帧的特征进行融合，得到各图像帧的特征表示，包括：

在卷积神经网络中增加特征金字塔网络结构，通过所述特征金字塔网络结构从不同尺度上提取各图像帧的高层语义特征；

将提取的各图像帧的高层语义特征进行特征融合，得到各图像帧的特征表示。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述类别和位置信息对所述各图像帧的车牌进行分割，得到分割后的所述各图像帧的特征图，包括：

根据所述各图像帧的车牌检测框的类别和位置信息，对第一预定尺寸大小的所述各图像帧分别经过第一预定次数卷积及第二预定次数反卷积操作，提取得到所述各图像帧各自对应的第二预定尺寸大小的特征图。

4.根据权利要求3所述的方法，其特征在于，在根据各原始车牌标签信息和所述各图像帧的特征图，训练得到车牌识别模型的步骤之前，包括：

根据各原始车牌标签信息，将各原始车牌标签转换为针对车牌全局字符的全局字符特征图以及针对车牌单个字符的单字符特征图。

5.根据权利要求4所述的方法，其特征在于，所述根据各原始车牌标签信息和所述各图像帧的特征图，训练得到车牌识别模型，包括：

通过预定的损失函数对各全局字符特征图、各单字符特征图以及所述各图像帧的特征图进行计算，得到计算结果；

基于各原始车牌标签信息，通过所述损失函数矫正所述计算结果，训练得到车牌识别模型。

6.根据权利要求5所述的方法，其特征在于，所述预定的损失函数为多任务损失函数，所述多任务损失函数包括车牌目标检测阶段的损失函数和车牌分割阶段的损失函数；

其中，通过分别设定车牌目标检测阶段的损失函数和车牌分割阶段的损失函数的权重系数，确定所述多任务损失函数。

7.根据权利要求6所述的方法，其特征在于，所述车牌目标检测阶段的损失函数包括位置回归函数和分类损失函数，通过分别设定位置回归函数和分类损失函数的权重系数，确定所述车牌目标检测阶段的损失函数；

所述车牌分割阶段的损失函数包括全局车牌实例分割损失函数和表示每个字符的语义分割损失函数，其中，所述全局车牌实例分割损失函数使用二值交叉熵损失函数进行计算，所述语义分割损失函数使用加权损失函数进行计算。

8.根据权利要求7所述的方法，其特征在于，所述将待识别图片输入所述车牌识别模型进行车牌识别，识别得到所述待识别图片中的车牌字符，包括：

将待识别图片输入所述车牌识别模型，得到所述待识别图片的车牌检测框；

通过所述车牌识别模型中的预定目标检测网络检测所述待识别图片的车牌检测框，得到所述待识别图片的全局字符特征图以及所述待识别图片的单字符特征图；

根据所述待识别图片的车牌检测框，通过预定算法计算所述待识别图片的单字符特征图中每个字符区域的平均像素值，生成车牌字符序列；

根据所述车牌字符序列得到所述待识别图片中的车牌字符。