[发明专利]一种基于动态时序卷积神经网络的车牌识别方法

权利要求书

1.一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，包括以下步骤：

读取原始车牌图像；

进行图像预处理，车牌角度矫正，获得待确定识别的车牌图像；

将上述车牌图像输入到预先设计和训练好的卷积神经网络中，获得具备车牌所有特征的特征图像和时序信息；

进行字符识别，将特征图像和时序信息输入到基于动态时序的长短期记忆神经网络层中，得到分类结果，利用CTC算法解码得到最后的车牌字符结果；

预先设计和训练好的卷积神经网络包括以下步骤：

步骤1)：构建基于动态时序的卷积神经网络，卷积神经网络设计为8层结构，包括1个输入层、4个用于特征提取的卷积层、2个用于特征优化选取的池化层，1个长短期记忆神经网络层；

步骤2)：初始化后，采用随机梯度下降法对卷积神经网络进行迭代训练，每迭代一次计算一次损失函数的值，以获得网络结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络；所述卷积神经网络的训练方法包括如下步骤：

收集样本图像集，样本图像中包括不同长宽比的图像；将样本图像集中的图像进行矫正预处理，矫正车牌到水平位置；将预处理后的样本图像集中的图像补全图像宽度至144个像素，图像中的原始宽度范围内的像素灰度值不变，增加部分的图像灰度值设定为0；从补全后的样本图像集中抽取100张图像，组成小样本集，输入到初始卷积神经网络中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张车牌图像对应的最后一层卷积层，该卷积层的特征向量中，实际特征宽度由图像原始宽度决定，实际特征宽度为长短期记忆神经网络层中的动态时序，增加一层与特征图像大小一样的掩码层，实际特征宽度范围内的值为1，由补全部分获得区域掩码层对应的区域上的值为0，掩码层作为标记，实际特征宽度范围内的值带入计算，补全部分获得的特征不带入计算；将处理后的卷积层特征向量输入到长短期记忆神经网络层，得到字符分类结果；计算该小样本图像集每一张车牌图像对应的字符分类结果置信度与标定的字符分类结果置信度之差，得到卷积神经网络最后一层长短期记忆神经网络层的损失函数的值；将初始卷积神经网络最后一层的损失函数的值进行反向传播，更新每一层的权重值W和偏置值b；重复从补全后的样本图像集中抽取另外的100张图像，输入到更新权重值W和偏置值b后的卷积神经网络中，进行前行传播，获得该样本图像对应的字符分类结果的步骤，直到该小样本图像集与对应的标定字符分类结果具有相同的拟合结果，获得训练后的卷积神经网络。

2.如权利要求1所述的一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述车牌角度矫正方法包括以下步骤：

步骤1)：通过canny算子提取车牌图像的边缘，分别统计水平方向上和垂直方向上边缘点的个数，得到基于水平和垂直方向上的边缘点投影直方图；

步骤2)：根据边缘点投影直方图，确定车牌图像中字符起始和结束位置，起始与结束位置的差值与车牌左右边界点的差值求余弦，获得车牌水平方向上的倾斜角度，从而在水平方向上矫正车牌，再做垂直方向上的矫正，获得矫正完的车牌。

3.如权利要求1所述的一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述的字符识别方法包括：

将最后一层卷积层的特征图像分层与长短期记忆神经网络层中的输入层权重矩阵相乘，并将对应输入层的数据进行累加，得到对应的输入特征向量；

将输入特征向量输入到长短期记忆神经网络层的单元处理器中，通过tanh函数激活得到第一个时序对应的细胞记忆向量和隐藏向量；细胞记忆向量与长短期记忆神经网络层中内置权重矩阵相乘，并将数据对应累加，得到内置特征向量；

将内置特征向量输入到长短期记忆神经网络层的单元处理器中，获得第二个时序对应的细胞记忆向量和隐藏向量；同样的方法得到对应于动态时序的隐藏向量；

将所有的隐藏向量与对应于动态时序的分类权重矩阵相乘，并将所有时序的向量乘积对应累加，获得分类特征向量。

4.如权利要求1所述的一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述的CTC解码算法包括：

比较每一个时序下的70类分类类别的置信度，选取最大值对应的分类类别下标作为解码结果，合并前后连续相同的字符成唯一一个字符，删除字符为空格的解码结果，得到最后的字符识别结果。