[发明专利]一种基于深度学习的车牌超分辨率处理方法及系统

摘要

本发明公开了一种基于深度学习的车牌超分辨率处理方法及系统，包括从原始压缩监控视频获取一系列包含车牌信息的图像；然后对其中的兴趣目标进行跟踪；选取若干个兴趣点并以截取图像，对这些图像进行配准；利用深度学习训练库，获取相应的深度网络权重，使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。本发明使用超分辨率深度网络模型和梯度引导网络模型进行共同优化的策略学习出高压缩监控视频中降质字符和清晰字符间的内在关系，通过一个共同深度网络实现超分辨率和去块效应的效果，提升了降质字符的分辨率并去除块效应，解决了高压缩监控视频中车牌字符无法看清的问题。

主权项

一种基于深度学习的车牌超分辨率处理方法，其特征在于，包括：(1)从原始压缩监控视频中获取n帧包含车牌信息的图像{Ji}；(2)对各帧图像Ji进行目标检测，分别获得各帧图像的目标区域；(3)在各个目标区域中选取兴趣点，获得兴趣点轨迹；(4)选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准；(5)使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。所述深度网络权重通过以下方法训练得到：(5.1)提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得。(5.2)使用超分辨率网络模型和梯度引导网络模型对步骤5.1的训练库进行优化训练，获取相应的深度网络权重；其中，超分辨率网络模型的损失函数为:L1(Ws)=1NΣi=1NGi·||Ihi-F({Il}i,Ws)||2]]>其中Ws表示超分辨率网络模型的权重，N为训练样本的批数量，每一批样本中包含n个低质样本和1个高分辨率样本。{Il}i为第i批样本中的低质样本集合，表示第i批样本中的的高分辨率样本，F({Il}i,Ws)为重建出的高分辨率字符。梯度引导网络模型的损失函数为：L2(Wg)=1NΣi=1N||F((Il0)i,Wg)-Gi||2]]>其中Gi为训练出的权重引导图，Wg表示梯度引导网络模型的权重，为第i批样本中的任一低质样本，为重建出的权重引导图；最终的损失函数为：L(W)＝L1(Ws)+λL2(Wg)其中λ为相应的平衡因子。选取使得损失函数最小的深度网络权重W，W＝Ws+Wg。