[发明专利]基于深度学习融合网络的字符非分割模式车牌识别方法

权利要求书

1.一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，包括以下步骤：

1)基于异常天气状况下的高速整车图像，对车牌区域进行检测并构建高速公路车牌图像集；

2)基于CTC损失函数，构建字符非分割模式车牌识别框架；

3)构建ResNet50-LPR卷积神经网络，对车辆号牌字符图像进行特征提取；

4)基于ResNet50-LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建深度学习融合网络模型FResNet50；

5)基于车牌识别的注意力编码方式，在FResNet50融合模型后添加注意力编码Attention模块，完成FResNet50-Attention深度学习融合网络模型的构建；

6)使用高速公路车牌图像集对构建好的FResNet50-Attention卷积神经网络模型进行训练，最终完成对车辆号牌的识别。

2.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤1)中，检测车牌区域并构建高速公路车牌图像集的方法为：基于YOLOv3的异常天气条件下高速公路车辆全息检测方法对所构建的车辆数据集进行检测，以获取多种天气条件下的车辆全息检测结果；检测内容包括车窗、车脸和车牌，随后对获取的车牌图像进行筛选和整理，并对车牌标签进行校正。

3.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤2)中，基于CTC损失函数，构建字符非分割模式车牌识别框架的方法为：对于给定车牌图像中所存在的序列X＝[x₁，x₂，...，x_T]以及标签数据Y＝[y₁，y₂，...，y_U]，将输入序列X分割成若干个时间步，每个时间步得到一个输出，多个时间步经过组合完成车牌所有字符的识别。

4.根据权利要求3所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，引入空白字符ε，用于表示字符间隔和隔开重复出现字符，此时CTC算法通过去除重复字符及空白字符ε来实现字符对齐，解决X、Y之间长度不等，难以对其的问题；由于重复字符和空白字符ε的存在，从X映射到Y有多种可能性，若要得到标签数据Y，最终需要使得X映射到Y的后验概率P(Y|X)最大，即使得从X得到Y每个时间步概率的和最大；据此形成CTC损失函数的具体表达式，并根据该损失函数进行模型框架的搭建。

5.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤3)中，构建ResNet50-LPR卷积神经网络，对车辆号牌字符图像进行特征提取的方法为：所述ResNet50-LPR卷积神经网络由5个Block模块和两个全局平均池化层构成，每个Block模块均由若干卷积层和池化层构成；将图像规格化为224×224×3输入至该卷积神经网络中，经过5个Block模块时，Block1输出的特征图大小为64×56×56，Block3输出的特征图大小为512×28×28，最终Block5输出的特征向量大小为2048×1×1，每张车辆号牌图像提取到三张大小不一的特征图。

6.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤4)中，基于ResNet50-LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建深度学习融合网络模型FResNet50的方法为：所述ResNet50-LPR卷积神经网络主干结构与ResNet50-LPR卷积神经网络相同，在该网络结构的基础上对Block1、Block3和Block5提取出的特征图进行串联融合。