[发明专利]一种基于多尺度特征的车牌图像超分辨率重建模型及方法

权利要求书

1.一种基于多尺度特征的车牌图像超分辨率重建模型，包括：

数据集构建模块，用于构建训练用车牌图像超分辨率重建数据集，所述数据集中的数据以低分辨率图像和对应高分辨率真值为一个训练样本；

训练样本加载模块，用于加载训练样本；

多尺度特征模型，用于使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；

判别器，用于对经所述多尺度特征模型重建得到的高分辨率图像与所述训练样本的高分辨率真值进行判别，输出判别结果。

2.如权利要求1所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于，所述多尺度特征模型包括：

多尺度特征提取模块，用于加载训练样本的低分辨率图像，对所述低分辨率图像使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取输入的低分辨率图像的各尺度特征语义信息，并在提取完各尺度的特征最后进行级联以实现聚合；

多尺度特征编码解码网络，用于获取所述多尺度特征提取模块输出的多尺度特征级联在一起的特征图，提取高层语义特征和高频信息；

上采样模块，连接在所述多尺度特征编码解码网络后，使用pixelshuffle模块作为上采样网络，输出重建后高分辨率图像。

3.如权利要求2所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于：所述训练样本加载模块采用批量加载，每次加载若干个样本，每个训练样本包括一远景图像以及随机抽取的近景图像，在加载时调整每帧图片尺寸，使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。

4.如权利要求1所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于：所述判别器对输入的真值和所述多尺度特征模型的重建结果，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，输出判别结果；使用生成对抗的方式对所述重建模型进行完整过程的训练。

5.如权利要求1所述的一种基于多尺度特征的车牌图像超分辨率重建模型，其特征在于：利用Adam作为所述多尺度特征模型和所述判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。

6.一种基于多尺度特征的车牌图像超分辨率重建方法，包括如下步骤：

步骤S1，加载训练样本，并于加载时对加载的训练样本进行预处理，所加载的训练样本包括远景图像和近景图像；

步骤S2，以迭代方式加载训练样本的低分辨率图像输入到多尺度特征模型，使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual denseblock为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；

步骤S3，将经多尺度特征模型重建得到的高分辨率图像与所述训练样本中对应高分辨率真值输入到判别器，输出判别结果；

步骤S4，计算判别器损失，并根据该损失进行反向传播更新判别器参数；

步骤S5，计算作为生成器的所述多尺度特征模型的损失，根据求得的损失进行反向传播更新生成器参数；

步骤S6，在每一轮训练后利用验证集中的样本进行一轮验证，并于验证过程中，根据生成器和判别器的平均损失减小生成器和判别器学习率；

步骤S7，重复步骤S1-S6，进行迭代优化直到训练完毕。

7.如权利要求6所述的一种基于多尺度特征的车牌图像超分辨率重建方法，其特征在于，于步骤S1中，批量加载若干训练样本，并在加载时调整每帧图片尺寸，并使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。