[发明专利]一种基于序列学习的车牌识别方法

权利要求书

1.一种基于序列学习的车牌识别方法，其特征在于包括如下步骤：

步骤1：首先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签C，C∈D，D为字符索引表；然后基于准备的数据集训练用于车牌字符检测的深度卷积神经网络模型M_C；

步骤2：训练用于序列转换的Sequence-to-Sequence模型M_S；

所述步骤2中的训练用于序列转换的Sequence-to-Sequence模型M_S，具体步骤如下：

步骤2.1：将待训练的图像I输入到用于车牌字符检测的深度卷积神经网络模型M_C，编码得到候选车牌字符构成的序列X＝{x₁,x₂,…,x_T}，其中x_i表示编码序列的第i个字符，1≤i≤T，T表示编码序列的长度，x_i是由构成的六元组，x、y、w、h分别表示字符矩形框的左上角横坐标、左上角纵坐标、宽度、高度，c表示字符的类别编号，c∈D，D为字符索引表，t表示字符的类别置信度，W和H分别表示图像I的宽度与高度；

步骤2.2：首先构造索引字典V＝{0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19}；然后为编码序列X标注目标解码序列Y＝{y₁,y₂,…,y_L}，其中y_i表示解码序列的第i个元素，1≤i≤L，L表示解码序列的长度，L＝T，y_i是x_i在实际车牌号码S中的索引值，y_i∈V，若则令y_i＝19；

步骤2.3：首先在编码序列X末尾加上结束字符E_EOS＝(0,0,0,0,0)，在解码序列Y末尾加上结束字符D_EOS＝0；然后将X加入训练样本集X_t，将Y加入训练样本集Y_t；

步骤2.4：对所有的训练图像重复步骤2.1至步骤2.3；

步骤2.5：首先设计一个两层的LSTM模型，其中每层设置128个隐藏单元；该两层的LSTM模型分为编码器和解码器两部分，将上一步骤得到的训练样本集Ψ＝＜X_t,Y_t＞按公式(1)训练Sequence-to-Sequence模型；

其中，o为编码器学习到的单一序列样本X的规则化表示，p(y_i|o,y₁,...,y_i-1)为解码器得到的特定序列元素y_i的概率，y_i∈V，p(y₁,...,y_L|x₁,...,x_T)为将序列X转换为序列Y的概率，θ为所训练Sequence-to-Sequence模型M_S的模型参数；

步骤3：将待识别的图像G输入到用于车牌字符检测的深度卷积神经网络模型M_C，编码得到候选车牌字符构成的序列X_G＝{u₁,u₂,…,u_Nx}，其中u_i表示序列X_G的第i个字符，1≤i≤Nx，Nx表示序列X_G的长度；

步骤4：将步骤3得到的序列X_G输入步骤2得到的Sequence-to-Sequence模型M_S，得到转换序列Y_G＝{v₁,v₂,…,v_Ny}，其中v_i表示序列Y_G的第i个字符，1≤i≤Ny，Ny表示序列Y_G的长度；

步骤5：参照字符索引表D、序列索引字典V和步骤3得到的序列X_G，将步骤5得到的转换序列Y_G进行翻译；

所述步骤5具体步骤如下：

步骤5.1：构建车牌识别字符串占位集合S，并补充与X_G相同元素个数的空字符C_NULL，使得S＝{s_j|j＝1,2,…,Nx,s_j＝C_NULL}，其中s_j表示字符集合S的第j个字符，初始化为C_NULL；

步骤5.2：遍历序列X_G和Y_G，对j＝1,2,…,Nx，若k_jNy，k_jNx且k_j≠19，则在字符字典D中查找g_j所代表的字符a，并用a替换集合S中的第k_j位元素；其中，g_i为序列X_G的第j个元素，k_j为序列Y_G的第j个元素；

步骤5.3：删去集合S中所有的C_NULL后，将集合S所有元素按需组成字符串Z；

步骤6：返回由步骤5得到车牌识别结果Z。