[发明专利]一种单双行车牌识别方法、装置、计算机设备及存储介质

权利要求书

1.一种单双行车牌识别方法，其特征在于，包括：

获取样本训练集，其中，所述样本训练集中的多个图像样本包括有单行车牌图像和双行车牌图像，所述多个图像样本中的各个图像样本标注有对应的车牌号序列信息，所述车牌号序列信息包含有按照车牌号序列顺序依次排列的多条字符坐标数据，所述字符坐标数据包含有对应字符的数字化唯一标识以及对应字符在所处车牌图像上的且经过归一化处理的横坐标、纵坐标、宽度和高度；

将所述各个图像样本及对应的所述车牌号序列信息输入预设的单双行车牌识别模型，以便对所述单双行车牌识别模型进行训练，其中，所述单双行车牌识别模型包括有图像特征提取单元、空间金字塔池化单元、车牌号序列建模单元、车牌号字符定位建模单元和损失函数计算单元；

所述图像特征提取单元，用于从所述图像样本中提取出维度为K×M×N的图像特征矩阵，并将所述图像特征矩阵送入所述空间金字塔池化单元,其中，K表示2、3和6的第一公倍数，M表示2、3和6的第二公倍数且大于所述第一公倍数，N表示大于所述第二公倍数的正整数；

所述空间金字塔池化单元，用于对所述图像特征矩阵分别做2×2、3×3和6×6的最大池化处理，得到维度分别为和的三个特征矩阵，然后对所述三个特征矩阵进行如下方式(A)和(B)的处理:

(A)将所述三个特征矩阵中的各个特征矩阵的前两个维度变为一维，得到维度分别为和的三个第一新特征矩阵，然后拼接所述三个第一新特征矩阵，得到维度为的一个第二新特征矩阵，再然后对所述第二新特征矩阵做的平均池化处理，得到维度为Len×N的一个第三新特征矩阵，最后将所述第三新特征矩阵输入所述车牌号序列建模单元，其中，Len表示车牌号序列长度；

(B)对所述三个特征矩阵中的且维度分别为和的两个特征矩阵分别做1×2和2×4的填充处理，得到维度均为的两个第四新特征矩阵，然后对所述两个第四新特征矩阵和所述三个特征矩阵中的且维度为的特征矩阵进行拼接，得到维度为的一个第五新特征矩阵，再然后对所述第五新特征矩阵做1×1×(3×(4+1))的卷积处理，得到维度为的第六新特征矩阵，最后将所述第六新特征矩阵输入所述车牌号字符定位建模单元；

所述车牌号序列建模单元，用于根据所述第三新特征矩阵，对车牌号序列进行建模，输出得到各个车牌号字符在车牌号序列中各个字符位置上的出现概率预测值；

所述车牌号字符定位建模单元，用于根据所述第六新特征矩阵，对车牌号字符位置进行建模，输出得到各个字符格子预测框的横坐标预测值、纵坐标预测值、宽度预测值、高度预测值和置信度预测值；

所述损失函数计算单元，用于根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据，计算得到损失函数值；

将待识别的单行车牌图像或双行车牌图像输入已完成训练的所述单双行车牌识别模型，以便经过所述车牌号序列建模单元输出得到对应的输出数据；

针对所述待识别的单行车牌图像或双行车牌图像，根据对应的输出数据，确定对应的且在所述各个字符位置上的车牌号字符，得到对应的车牌号序列。

2.根据权利要求1所述的单双行车牌识别方法，其特征在于，所述图像特征提取单元包括有沿从输入至输出方向依次布置的第一卷积层、第二卷积层、第一卷积残差子单元、第二卷积残差子单元、第三卷积残差子单元、第四卷积残差子单元、第十一卷积层、跨阶段局部网络CSPNet层和第五卷积残差子单元，其中，所述第一卷积残差子单元、所述第二卷积残差子单元、所述第三卷积残差子单元、所述第四卷积残差子单元和所述第五卷积残差子单元分别包括有沿从输入至输出方向依次布置的两个卷积层和一个残差块；

所述跨阶段局部网络CSPNet层，用于将输入分为两部分：一部分前向传入内部的dense块，另一部分作为图像特征矩阵送入所述空间金字塔池化单元。

3.根据权利要求1所述的单双行车牌识别方法，其特征在于，所述车牌号序列建模单元采用transformer语言模型对车牌号序列进行建模；

所述transformer语言模型的输入数据由两部分组成：一部分是所述第三新特征矩阵，另一部分是通过词嵌入法将车牌号转化成维度为Len×128的特征向量，将所述第三新特征矩阵与所述特征向量相加后构成输入数据，以便输入所述transformer语言模型。