[发明专利]基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

说明书

本发明公开了一种基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法，包括以下步骤：A、利用常用的公开人脸图像数据集，进行预处理，制作低分辨率人脸图像与对应高分辨率人脸图像训练集；B、构建用于训练的生成对抗网络模型，在生成网络中加入亚像素卷积层来实现超分辨率图像生成并引入包含特征损失的加权型损失函数；C、将步骤A得到的训练集依次输入生成对抗网络模型中进行模型训练，调整参数，达到收敛；D、将待处理的低分辨率人脸图像进行预处理，输入步骤C得到的对抗模型得到超分辨率重建后的高分辨率图像，可生成具有人脸轮廓更清晰、细节更具体、特征不变性的高分辨率对应图像，提升了人脸识别准确率，有更好的人脸超分辨率重建效果。

技术领域

本发明涉及图像重建方法领域，具体涉及一种基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法。

背景技术

在图像领域，图像的分辨率一直是表征图像观测水平的主要技术指标之一。图像的分辨率通常是指图像处理中的空间分辨率。图像的分辨率越高，一定数量的图像像素所代表的实际场景的面积就越小，图像能够反映的场景细节就越精细，越能提供丰富的信息。图像超分辨率重建技术有可能使图像实现从检出水平向识别水平的转化，或更进一步实现向细辨水平的转化。图像超分辨率重建技术可以提高图像的识别能力和识别精度。

现有很多安全部门、敏感公共场所、交通要道、居民小区等都配备了全天候实时视频监控系统，然而，由于受到监控摄像头分辨率性能、监控环境光照条件、目标距离等因素影响，监控系统所获取的视频图像可能是低质量的图像，人脸图像的分辨率偏低，人脸面部细节丢失，影响进一步的识别问题。因此，如何针对低分辨率人脸图像，研究高效的超分辨率重建技术，提高图像质量，提高低分辨率人脸的识别率，成为问题的关键。

单图像输入和多图像输入是超分辨率重建面临的两种不同情况。多图像输入意味着输入的是一系列图像或视频的一部分，这些图像间有着不同的像素平移，每幅图像都包含着高度相关的信息可以用于超分辨率重建一幅图像。而实际中，很多情况没有足够的相关输入图像来源，仅有一副人脸图像输入。因此，人脸超分辨重建技术旨在寻求实际输入人脸数据中的内在信息，从一张低分辨率图像恢复出丢失的高分辨率信息，得到相对应的高分辨率人脸图像。

人脸超分辨率重建方法可以分为三类：基于插值的方法、基于重建的方法和基于学习的方法。近年来，深度学习在计算机视觉中取得了巨大的成功。Ian J.Goodfellow的2014年的《Generative Adversative Nets》第一次提出了生成对抗网络(GAN)模型，论文提出了一个新的框架，可以利用对抗过程估计生成模型，相比之前的算法，可以认为是在无监督表示学习上一个突破。基于生成对抗网络模型的人脸超分辨率重建方法，可以利用判别网络给出的判别信息来确认生成的高分辨率图像是否准确。但是，该方法通常使用反卷积层来完成输入图像的放大过程，由于反卷积层自身性质，生成图像会存在棋盘效应，影响图像质量。一种解决办法是充分挖掘低分辨率图像原始信息，利用学习到的像素值来重建图像，可解决反卷积所产生的棋盘状噪声。但是这类方法使用了图像逐像素求差的损失函数，无法感知图像语义方向的差异信息，特别是对人脸这种具有鲜明特征的图像，不能产生很好的人脸重建效果。

发明内容

本发明为了解决上述技术问题提供一种基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法。

本发明通过下述技术方案实现：

基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法，包括以下步骤：

A、制作低分辨率人脸图像与对应高分辨率人脸图像训练集；

B、构建用于训练的生成对抗网络模型，在生成网络中加入亚像素卷积层，引入包含特征损失的加权型损失函数；

C、将步骤A得到的训练集依次输入生成对抗网络模型中进行模型训练，调整参数，达到收敛；