[发明专利]一种基于多尺度特征的车牌图像超分辨率重建模型及方法

说明书

本发明公开了一种基于多尺度特征的车牌图像超分辨率重建模型及方法，该模型包括：数据集构建模块，用于构建训练用车牌图像超分辨率重建数据集，所述数据集中的数据以低分辨率图像和对应高分辨率真值为一个训练样本；训练样本加载模块，用于加载训练样本；多尺度特征模型，用于使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以RDB为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；判别器，用于对经所述多尺度特征模型重建得到的高分辨率图像与所述训练样本的高分辨率真值进行判别，输出判别结果。

技术领域

本发明涉及计算机图像处理技术领域，特别是涉及一种使用生成对抗网络对车牌图像的多尺度特征进行学习进而实现超分辨率重建的基于多尺度特征的车牌图像超分辨率重建模型及方法。

背景技术

有监督的自然图像的超分辨率重建技术已经发展的比较成熟，目前已有多种技术可以实现，如RDN、EDSR、SRGAN等基于深度学习的超分辨率重建方法，但这些方法未对待重建图像的多尺度特征进行关注，导致低分辨率的车牌图像超分重建的效果不理想。

举例来说，现有超分辨率重建方法在特征提取模块只对单一尺度的特征进行编码解码，忽略了其他尺度语义信息对超分辨率重建过程的贡献。在这种情况下，要得到高质量的超分辨率重建结果，必须加大模型深度导致参数量很大。此外，现有超分辨率重建方法判别器部分基于全连接层或者PatchGAN进行类别判断，未从多尺度特征的角度进行判别器设计，导致车牌图像部分小区域的重建质量不高，有显著伪影存在。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于多尺度特征的车牌图像超分辨率重建模型及方法，以达到使用生成对抗网络对车牌图像的多尺度特征进行学习进而实现超分辨率重建的目的。

为达上述目的，本发明提出一种基于多尺度特征的车牌图像超分辨率重建模型，包括：

数据集构建模块，用于构建训练用车牌图像超分辨率重建数据集，所述数据集中的数据以低分辨率图像和对应高分辨率真值为一个训练样本；

训练样本加载模块，用于加载训练样本；

多尺度特征模型，用于使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取多尺度特征语义信息，然后聚合多尺度特征和输入低分辨率图像为一个多通道的特征图，并以residual dense block为基础块进行堆叠，并通过上采样网络输出重建后的高分辨率图像；

判别器，用于对经所述多尺度特征模型重建得到的高分辨率图像与所述训练样本的高分辨率真值进行判别，输出判别结果。

优选地，所述多尺度特征模型包括：

多尺度特征提取模块，用于加载训练样本的低分辨率图像，对所述低分辨率图像使用不同扩张率的空洞卷积在不引入额外参数的情况下扩大感受野来提取输入的低分辨率图像的各尺度特征语义信息，并在提取完各尺度的特征最后进行级联以实现聚合；

多尺度特征编码解码网络，用于获取所述多尺度特征提取模块输出的多尺度特征级联在一起的特征图，提取高层语义特征和高频信息；

上采样模块，连接在所述多尺度特征编码解码网络后，使用pixelshuffle模块作为上采样网络，输出重建后高分辨率图像。

优选地，所述训练样本加载模块采用批量加载，每次加载若干个样本，每个训练样本包括一远景图像以及随机抽取的近景图像，在加载时调整每帧图片尺寸，使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。

优选地，所述判别器对输入的真值和所述多尺度特征模型的重建结果，先提取各自多尺度特征，然后对每一种尺度的特征进行判断，最后将不同尺度特征的判别结果进行加权求和，输出判别结果。