[发明专利]一种基于深度学习的车牌超分辨率处理方法及系统

说明书

本发明公开了一种基于深度学习的车牌超分辨率处理方法及系统，包括从原始压缩监控视频获取一系列包含车牌信息的图像；然后对其中的兴趣目标进行跟踪；选取若干个兴趣点并以截取图像，对这些图像进行配准；利用深度学习训练库，获取相应的深度网络权重，使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。本发明使用超分辨率深度网络模型和梯度引导网络模型进行共同优化的策略学习出高压缩监控视频中降质字符和清晰字符间的内在关系，通过一个共同深度网络实现超分辨率和去块效应的效果，提升了降质字符的分辨率并去除块效应，解决了高压缩监控视频中车牌字符无法看清的问题。

技术领域

本发明涉及一种数字视频图像处理方法，尤其涉及一种基于深度学习的车牌超分辨率处理方法及系统。

背景技术

近年来，我国己经进入了社会高速发展期，国内安全形势严峻。为了维护社会稳定，保障人民生命财产安全，国家投入3000个亿的资金在全国多个城市实施平安城市视频监控工程，建立了较为完善的视频监控体系。监控摄像头拍摄并记录下了所在监控区域过去、现在所发生的各种情景。一方面为日后的各种刑事侦查留下线索、民事纠纷留下证据，另一方面震慑了各种犯罪分子，防止进行各项犯罪活动。车牌是监控视频当中，最有价值的观察目标，是很多视频监控应用中较为注重的部分。但是实际情况中，很多压缩监控视频中的车牌往往模糊不清，而造成车牌信息无法通过肉眼看清的主要原因有：一、摄像头和目标车辆的距离太远，导致车牌的有效分辨率不足；二、往往对监控视频进行一定的压缩以减少存储空间并方便存储，导致监控视频质量下降。因成像条件和压缩所引起的车牌画质低，无法通过肉眼直接观察得到信息的问题亟待解决，从监控视频当中提取清晰、高质量的车牌图像，不但能够为人们提供有价值的线索也能为日后的司法审判提供直接、间接的证据。由此可见，压缩监控视频中车牌超分辨率算法研究将在刑事侦查、交通肇事、车辆监测等领域拥有广阔的前景。

已有的压缩视频超分辨率算法基本上是首先分析压缩视频的降质过程、建立相应的降质模型并采用基于重构的方法进行超分辨率重建。对于这类方法而言，在压缩率较低的情况下，还能取得较好的处理效果，但随着压缩率进一步增大，效果变差甚至远低于原始视频。这些算法将量化噪声转换为随机噪声进行建模，而在压缩率较低的情况压缩图像和损失信息的相关性不明显，可以用随机噪声进行描述；当压缩率较高时，压缩图像和损失信息相关性较强，即量化噪声的分布和图像内容的分布具有直接相关的关系，再用随机噪声去建模便变的不适用。

近两年随着人工智能的飞速发展，深度学习已经从高层识别、分类等计算机视觉向低层的去噪、去模糊、超分辨率等图像处理领域发展。基于深度学习的超分辨率技术开始于2014年，由香港中文大学董超首次使用了四层卷积神经网络进行图像的超分辨率研究。但是已有的基于深度学习的超分辨率技术皆知考虑了理想图像、视频的超分辨率，对于高压缩图像、视频的研究还很少。学术界更多的是将超分辨率和去块效应问题分为两个问题解决，也涌现一些优秀的基于深度学习的超分辨率算法和基于深度学习的去块效应算法。但是从已有的研究上看，其实超分辨率问题和去块效应问题可以统一到一个网络模型中并加以解决，也是本发明的创新点。一方面董超在自己的四层超分辨率模型SRCNN上增加了一层，提出了ARCNN模型以解决图像的去块效应问题。另一方面，张凯提出了DnCNN去噪模型，为了证明该模型的普适性，作者将之用于超分辨率和去块效应的问题的处理，也取得较好的重建效果。由以上两点可知，完全有可能将超分辨率和去块效应应用到同个深度网络。所以研究如何使用深度学习的方式对压缩视频进行超分辨率处理并同时解决超分辨率和去块效应问题就变得非常有意义。

发明内容

本发明的目的在于提供一种基于深度学习的车牌超分辨率处理方法及系统，能够适用于高压缩率监控视频中车牌的复原。

本发明提供的技术方案为：一种基于深度学习的车牌超分辨率处理方法，包括：