[发明专利]基于结合图像像素先验和图像梯度先验的图像去模糊方法

说明书

本发明公开了一种基于结合图像像素先验和图像梯度先验的图像去模糊方法，包括以下步骤：准备数据；搭建生成对抗网络模型，包括两个子网分别记做DNet和GNet。DNet从图像像素域对图像的内容进行恢复，GNet从图像梯度域对图像的梯度进行恢复；设置目标损失函数：包括约束DNet子网的目标损失函数包括：图像内容目标损失函数L_content、图像像素级重建目标损失函数L_pixel；另一方面，GNet子网的目标损失函数由L_GradientNet构成，L_GradientNet的作用是缩小标签图像的梯度强度图和生成的模糊图像梯度强度图之间的差距；判别器中的目标损失函数L_adv，L_adv用于对生成图像与标签图像的真假进行判别，驱使生成器生成图像接近标签图像。

技术领域

本发明属于图像处理、计算机视觉技术领域，具体涉及一种基于结合图像像素先验和图像梯度先验的图像去模糊方法。

背景技术

作为外界客观世界信息记录和传递的载体，图像一直是人类获取和辨别客观世界信息的主要来源和手段。然而，在图像的拍摄过程中会经常发生由相机抖动或物体运动引发的图像模糊问题。由于模糊的图像失去了清晰的边缘和丰富的纹理信息，使得人们很难从中获取清晰的内容和精细的信息。因此，如何清晰化运动模糊图像，使其可以更好的应用于高级图像处理(图像检测、图像识别)等领域已经成为了一个研究热点。

针对图像去模糊这个问题，现有的技术方法可以概括以下两个方面：基于传统的图像先验的图像去模糊方法和基于深度学习的图像去模糊方法。基于传统方法的图像去模糊方法依靠于从图像中手动提取先验或图像的统计信息，并在此基础上建模优化方程，通过迭代求解优化方程得到恢复后的图像。由于传统方法仅在有限的图像上提取先验，因此这类方法只在特定模糊图像上获得较好的去模糊结果，而在其他模糊图像上泛化性较低。此外，迭代求解优化函数需要耗费大量的时间，因而这类方法并不能很好的满足算法对实时性的要求。基于深度学习的图像去模糊问题通过在大量的数据集上提取特征，并在网络模型训练的过程中不断迭代选取更适合图像恢复的权值，从而恢复潜在的标签图像。虽然图像去模糊问题已经取得了一些成绩，但恢复得到的图像并不十分令人满意。例如，一些基于深度学习的方法中存在网络参数过多、网络模型过大的问题，而这无疑对网络训练在硬件配置方面提出了更高的要求；另外一些方法仅适用于合成的模糊图像，在实际的模糊图像中泛化性和鲁棒性较弱。

发明内容

本发明的目的是为了克服现有图像去模糊技术中的不足，联合利用图像梯度先验和对抗生成模型，研究一种能够有效提升图像去模糊性能，恢复图像的细节以及结构的图像去模糊方法。

本发明的目的是通过以下技术方案实现的：

基于结合图像像素先验和图像梯度先验的图像去模糊方法，包括以下步骤：

(1)准备实验数据，具体包括模糊图像和标签图像；

(2)设置生成器和判别器的网络结构框架；生成器由DNet和GNet两个独立的子网组成，每个子网均采用U型网络结构，U型网络结构包括编码器和解码器两部分；将模糊图像输入到判别器中，所述编码器用于下采样并提取模糊图像中的细节特征进行编码，解码器用于上采样并得到生成图像(在网络的训练过程中，经过生成器学习得到的图像)；其中，DNet从图像像素域的层面对模糊图像的内容进行恢复，GNet从图像梯度域的层面对模糊图像的梯度进行恢复；

判别器采用PatchGAN作为判别器的网络结构，具体包括一个平卷积层、三个下采样卷积层、以及一个经过Sigmoid激活函数激活的卷积层；将生成图像和标签图像输入到判别器中，所述下采样卷积层用于下采样并编码用于表征分类响应的生成图像和标签图像的局部特征；经过Sigmoid激活函数激活的卷积层用于得到最终的分类响应；判别器内每个卷积层后面都添加有Instance Normalization样本标准化层和Leaky ReLU激活函数，且每个卷积层的卷积核大小为4×4；