[发明专利]一种基于深度学习的车牌超分辨率处理方法及系统

权利要求书

1.一种基于深度学习的车牌超分辨率处理方法，其特征在于，包括：

(1)从原始压缩监控视频中获取n帧包含车牌信息的图像{J_a}；

(2)对各帧图像J_a进行目标检测，分别获得各帧图像的目标区域；

(3)在各个目标区域中选取兴趣点，获得兴趣点轨迹；

(4)选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以截取图像中任一图像为待超分辨率帧，将该待超分辨率帧与剩余的截取图像进行配准；

(5)使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I；

所述深度网络权重通过以下方法训练得到：

(5.1)提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得；

(5.2)使用超分辨率网络模型和梯度引导网络模型对步骤(5.1)的训练库进行优化训练，获取相应的深度网络权重；

其中，超分辨率网络模型的损失函数为:

其中W_s表示超分辨率网络模型的权重，N为训练样本的批数量，每一批样本中包含n个低质样本和1个高分辨率样本， {I_l}ⁱ为第i批样本中的低质样本集合，表示第i批样本中的高分辨率样本，F({I_l}ⁱ,W_s)为重建出的高分辨率字符；

梯度引导网络模型的损失函数为：

其中G_i为训练出的权重引导图，W_g表示梯度引导网络模型的权重，为第i批样本中的任一低质样本，为重建出的权重引导图；最终的损失函数为：

L(W)＝L₁(W_s)+λL₂(W_g)

其中λ为相应的平衡因子，选取使得最终损失函数最小的深度网络权重W，W包括W_s和W_g。

2.根据权利要求1所述的车牌超分辨率处理方法，其特征在于，所述步骤(5.1)中，压缩比QP在0～51之间任意取值，下采样倍率降为原始视频分辨率的0.2～0.5倍。

3.根据权利要求1所述的车牌超分辨率处理方法，其特征在于，所述超分辨率网络模型采用LSTM或卷积神经网络；其中卷积神经网络具体为卷积生成对抗网络或残差网络；当采用残差网络时，使用n组并行的输入输出串联残差网络提取字符特征。

4.根据权利要求1所述的车牌超分辨率处理方法，其特征在于，采用卷积神经网络构造梯度引导网络模型；使用Canny、Sobel、Roberts或Lapacian算子提取高分辨字符梯度，获得相应的梯度图。