[发明专利]基于深度学习融合网络的字符非分割模式车牌识别方法

说明书

本发明公开了一种基于深度学习融合网络的字符非分割模式车牌识别方法，包括以下步骤：对高速整车图像的车牌区域进行检测并构建高速公路车牌图像集；基于基于CTC损失函数与ResNet50‑LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建融合模型FResNet50；基于车牌识别的注意力编码方式，在FResNet50融合模型后添加注意力编码模块，完成FResNet50‑Attention深度学习融合网络模型的构建；使用高速公路车牌图像集对构建好的FResNet50‑Attention卷积神经网络模型进行训练，最终完成对车辆号牌的识别。本发明的识别性能优于单一的ResNet50‑LPR卷积神经网络和传统融合方式下的FResNet50卷积神经网络融合模型，其对于整副车牌的识别准确率达到了93.224％。

技术领域

本发明专利涉及智能交通，智慧高速研究领域，可应用于交通执法系统、停车管理系统、交通诱导系统、公路稽查系统、车辆调度系统和高速公路场景中货车智慧收费系统等多种场景，具体涉及一种基于深度学习融合网络的字符非分割模式车牌识别方法。

背景技术

车牌识别技术是计算机视觉图像算法在车辆牌照识别中的一种应用。它是一种能够检测到受监控路面的车辆并自动提取车辆牌照信息(含汉字字符、英文字母、阿拉伯数字及颜色)进行处理的技术。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。通过一些后续处理手段可以实现停车场收费管理，交通流量控制指标测量，车辆定位，汽车防盗，高速公路超速自动化管理、不停车收费等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实意义。

随着计算机技术的快速发展，基于深度学习的车辆号牌检测及识别技术得到迅速发展。深度学习相比于传统的机器学习算法相比，不需要手动的提取特征，因此具有良好的普适性和自适应性，得到了广泛应用。但由于车辆号牌的图像环境较为复杂，识别方式过于单一，使得现有的车牌识别模型在部分高速公路的露天场景特性下效果较差，尤其是在雨、雪、雾等特殊天气条件下，光线变化显著，图像噪声较多，大大降低了车辆号牌识别的准确率。因此，本文基于异常天气状况下的高速整车图像，提出了一种基于深度学习融合网络的字符非分割模式车牌识别方法，并使用FResNet50-Attention深度学习融合网络模型作为模型的核心结构，进一步提升了字符非分割模式下车辆号牌的识别准确率，给车牌识别提供了有效的新思路。

发明内容

本发明的目的在于利用深度学习融合网络方法完成字符非分割模式下车辆号牌的识别与分类，提供了一种基于深度学习融合网络的字符非分割模式车牌识别方法。

本发明采用的技术方案为：一种基于深度学习融合网络的字符非分割模式车牌识别方法。包括以下步骤：

1)基于异常天气状况下的高速整车图像，对车牌区域进行检测并构建高速公路车牌图像集；

2)基于CTC损失函数，构建字符非分割模式车牌识别框架；

3)构建ResNet50-LPR卷积神经网络，对车辆号牌字符图像进行特征提取；

4)基于ResNet50-LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建深度学习融合网络模型FResNet50；

5)基于车牌识别的注意力编码方式，在FResNet50融合模型后添加注意力编码(Attention)模块，完成FResNet50-Attention深度学习融合网络模型的构建；

6)使用高速公路车牌图像集对构建好的FResNet50-Attention卷积神经网络模型进行训练，最终完成对车辆号牌的识别。