[发明专利]一种基于双循环转录网络的车牌字符识别方法

权利要求书

1.一种基于双循环转录网络的车牌字符识别方法，其特征在于，所述的车牌字符识别方法包括构建、训练双循环转录网络和应用双循环转录网络进行车牌识别，其中，所述的构建、训练双循环转录网络包括以下步骤：

S1、使用卷积层、池化层、Relu层构造深度卷积神经网络，对车牌图像进行特征提取，得到包含相对位置信息和时序信息的序列特征图x＝{x₁,x₂,…x_i…,x_T}，其中x_i∈R²⁵⁶，x_i表示序列特征图的第i帧序列，T表示序列特征图宽度；

S2、构建Bi-LSTM，将序列特征图全部输入到Bi-LSTM，得到车牌字符置信度估计序列p＝{p₁,p₂,…,p_T}，其中T表示置信度估计序列p的长度，p和x长度相等，所述的Bi-LSTM由两个并行的循环层构成，两个循环层传播方向相反，每个循环层由T个LSTM单元链式连接而成，LSTM单元内含有输入门和输出门，将序列特征图的第i，i＝1,2,…,T帧序列x_i对应输入到第i个LSTM单元的输入门，然后用softmax激活函数对LSTM输出门输出的值进行转化，得到车牌字符置信度估计序列p；

S3、构建转录层，对车牌字符置信度估计序列p进行映射，得到预测标签序列；

S4、构建双循环转录网络，双循环转录网络由一个深度卷积神经网络和两个并行排列的Bi-LSTM构成，两个Bi-LSTM分别称为第一Bi-LSTM和第二Bi-LSTM，深度卷积神经网络输出的序列特征图x分别输入第一Bi-LSTM和第二Bi-LSTM，对第一Bi-LSTM输出的车牌字符置信度估计序列进行转录，得到汉字字符预测标签序列，对第二Bi-LSTM输出的车牌字符置信度估计序列进行转录，得到英文字符和数字字符的预测标签序列；

S5、用含有汉字字符的车牌图像对深度卷积神经网络和第一Bi-LSTM进行训练，得到深度卷积神经网络的参数和第一Bi-LSTM的参数，固定深度卷积神经网络的参数，用含有英文字符和数字字符的车牌图像对第二Bi-LSTM进行训练，得到第二Bi-LSTM的参数；

所述的应用双循环转录网络进行车牌识别，包括以下步骤：

T1、将待识别的车牌图像输入训练完成的双循环转录网络，对第一Bi-LSTM和第二Bi-LSTM输出的车牌字符置信度估计序列分别进行转录，得到第一预测标签序列和第二预测标签序列；

T2、合并第一预测标签序列和第二预测标签序列，得到最终的车牌字符识别结果。

2.根据权利要求1所述的一种基于双循环转录网络的车牌字符识别方法，其特征在于，所述的转录层用于对车牌字符置信度估计序列p进行映射，得到预测标签序列，定义车牌字符类别集合L＝{0,1,2,3,4,5,6,7,8,9，A,B,C,D,E,F,G,H,J,K,L,M,N,P,Q,R,S,T,U,V,W,X,Y，京，津，晋，冀，蒙，辽，吉，黑，沪，苏，浙，皖，闽，赣，鲁，豫，鄂，湘，粤，桂，琼，渝，川，贵，云，藏，陕，甘，青，宁，新，学，挂，使，警，港，澳}，在字符类别集合L中插入空白字符，其中空白字符用”-”符号表示，得到车牌字符类别集合L′，其中L′＝L∪{“-”}；对车牌置信度估计序列p做B变换，得到预测标签序列，定义B变换的输入为m序列，输出为n序列，m序列和n序列中的所有字符选自车牌字符类别集合L′，定义B变换规则如下：当输入的m序列中存在相邻的相同字符时，对相同字符进行合并，当输入的m序列中有”-”字符时，无论”-”字符的相邻字符是否为相同字符，直接将”-”字符删除，同时将”-”字符的相邻字符保留，最后m序列筛选后剩余的字符组合成输出的n序列，其中n序列的长度小于m序列的长度；

对车牌字符置信度估计序列p进行B变换，得到预测标签序列。

3.根据权利要求1所述的一种基于双循环转录网络的车牌字符识别方法，其特征在于，合并第一预测标签序列和第二预测标签序列的方式包括以下三种情况：

情况(1)：第一预测标签序列为省份字符，第二预测标签序列为英文字符和数字字符，合并方式为省份字符在前，英文字符和数字字符在后；

情况(2)：第一预测标签序列为车牌类别字符和省份字符，第二预测标签序列为英文字符和数字字符，合并方式为省份字符在前，英文字符和数字字符在中，车牌类别字符在后；

情况(3)：第一预测标签序列和第二预测标签序列都为英文字符和数字字符，将第一预测标签序列作为最终的车牌字符识别结果；

其中，情况(1)对应普通车牌和新能源车牌，该普通车牌包括蓝牌和黄牌，情况(2)对应港澳车牌、教练车牌、拖挂车牌、使馆车牌，情况(3)对应警队车牌、军队车牌。