[发明专利]一种基于生成对抗网络的复合降质图像高质量重建方法

说明书

本发明公开了一种基于生成对抗网络的复合降质图像高质量重建方法，针对同时含有雾霾，系统噪声，低照度和压缩失真等多种降质问题的低质量图像，本发明首先从针对复合因素降质图像重建的角度出发，建立了一种基于生成对抗网络的复合降质图像高质量重建方法，可完成针对受雾霾，低照度，压缩，系统噪声，光学模糊等因素组合降质图像的重建；其次，本发明采用非对称的生成网络，大大减少了模型的参数量，使模型易于训练和使用；再者，采用端到端的思想，简化了重建系统的架构，省去了预处理与后处理；最后，生成网络全部由卷积层组成，可输入任意尺寸复合降质图像进行重建。

技术领域

本发明属于数字图像/视频信号处理领域，特别涉及一种基于生成对抗网络的复合降质图像高质量重建方法。

背景技术

在视频监控、智能交通、军事成像侦察、导弹精确成像制导、遥感勘测、航空测绘等应用中，户外视觉系统易受雾霾、系统噪声、低照度、光学模糊、压缩等多方面因素的影响。这些因素以复杂的方式随机结合，会导致成像质量的严重退化，出现图像细节损失、对比度下降、颜色失真、压缩块效应等现象，图像的主观视觉效果变得很差。与此同时，图像质量的退化也会严重影响户外视觉系统效用的发挥。更有甚者，会导致后续的运动目标检测、跟踪、识别等智能化分析处理完全失效。

目前，广大学者们分别针对系统噪声、雾霾、压缩块效应、光学模糊等单一降质因素开展了研究工作，由于算法设计过程中仅考虑了某种单一降质因素，通常无法兼顾去除其他降质因素的影响。在处理复合降质图像高质量重建的过程中，学者们往往采用串行多次应用针对某种单因素降质的方法，如依次进行去除雾霾重建，去除噪声重建，去除模糊重建，去除压缩重建。该方法可以在一定程度上对图像进行重建，但是在多次重建的过程中，上一级重建结果中不可避免的会丢失一些图像的细节信息，丢失的细节信息往往会影响到下一级的重建结果，多级重建分别独立处理的方式也未能充分考虑多个问题之间的相互关系，导致最终的重建结果不尽人意。因此，如何在统一的框架下同时去除多种降质因素对图像质量造成的影响，是低质图像的高质量重建中值得深入研究的问题，对于提升实际应用系统的性能意义重大。

2012年，深度神经网络(Deep Neural Network)在ImageNet竞赛中取得了巨大成功，获得了远超于传统方法的性能。随后，学者们尝试将深度神经网络应用于图像重建任务中，利用低质-高质图像数据样本对，学习出低质到高质图像的映射网络模型，实现了较好的图像高质量重建效果。

生成对抗网络(GANs，Generative Adversarial Nets)是Goodfellow等在2014年提出的一种新型网络架构，在生成对抗网络的框架中，同时设立两个深度神经网络，即“生成网络”与“判别网络”，该框架建立了二者的非合作博弈关系，通过迭代交替更新达到纳什均衡，从而训练出最优的网络模型。生成对抗网络的提出为图像高质量重建提供了一种新的思路和手段。

发明内容

本发明的目的在于克服现有技术的不足，针对同时含有雾霾，系统噪声，低照度和压缩失真等多种降质问题的低质量图像，提出一个基于生成对抗网络架构的复合降质图像高质量重建方法，使其能同时解决含有雾霾，系统噪声，低照度和压缩失真等问题造成的低质图像重建问题。

本发明是采用以下技术手段实现的：一种基于生成对抗网络的复合降质图像高质量重建方法，主要包括整体流程，离线部分和在线部分。

整体流程：首先设计了复合降质图像重建的处理流程；然后根据此流程设计了生成网络结构以及判别网络结构；最后将生成网络各阶段特征图尺寸调整，完成复合降质图像映射到重建图像；

离线部分：主要包括2个步骤：训练样本库生成；网络训练及模型获取。其中，训练样本库生成方法中包括训练样本获取的5个过程；网络模型训练及模型获取阶段包括判别网络、损失函数、梯度下降法的选取；

在线部分：主要包括3个步骤：特征提取；特征融合；图像重建。

所述的整体流程，具体步骤如下：