[发明专利]基于生成对抗网络的人脸图像超分辨修复重建方法及系统

说明书

本发明提供一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统。该基于生成对抗网络的人脸图像超分辨修复重建方法包括：获取待修复的低分辨率人脸图像；将待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像；基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构来将待修复的低分辨率人脸图像修复并重建为相应的经修复的高分辨率人脸图像。

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统。

背景技术

人脸图像是一种极为特殊的图像，不仅蕴含着人物身份信息，也蕴含着丰富的人物表情,折射出人物心理活动，是应用最广泛的一类图像。然而在实际应用中，难以在瞬间及时捕获到完整清晰的人脸图像，例如由于图像采集设备的扰动，人脸图像存在部分像素缺失的问题；由于人们佩戴口罩或其他装饰品，人脸图像被遮挡；由于人脸图像采集距离过远，人脸图像存在分辨率低的问题等。人们保存的一些老照片中，人脸图像也存在一定的缺损情况；古代丰富多彩的人物壁画也存在面部纹理缺失的现象。人脸图像修复技术是指利用计算机技术，根据破损人脸图像中的有效信息对缺失信息进行有效修复，使修复结果符合人类视觉感知。

在现有技术中，人脸图像修复技术通常学习型和非学习型两类，其中学习型是指利用深度学习的方法进行图像修复，非学习型是指利用纹理合成和偏微分方程进行图像修复。

非学习型算法只能对缺失区域狭小的图像进行有效修复，而当确实面积较大、缺失形状不规则时，非学习型算法难以进行有效修复。学习型算法可以在训练的过程中学习人脸五官的分布规律，即使缺失面积大、缺失形状不规则也能进行有效修复。此外，当前人脸图像修复算法大多针对分辨率较大(128×128及以上)的人脸图像，而对于破损的低分辨率人脸图像缺少高效的解决方案。

发明内容

本发明提供一种基于生成对抗网络的人脸图像超分辨修复重建方法及系统，克服了现有技术中难以对破损的低分辨率人脸图像进行修复和超分辨重建的问题，通过融合人脸图像修复和人脸图像超分辨重建，使用一个网络模型在进行修复的基础上进一步完成超分辨重建，并与上下文注意力(contextual attention)GAN修复方法+双回归网络(Dualregression network)超分辨率方法DRN，边缘连接(edgeconnect)GAN修复方法+双回归网络超分辨率方法DRN，上下文注意力(contextual attention)GAN修复方法+金字塔注意力网络(Pyramid attention networks)超分辨算法，边缘连接(edgeconnect)GAN修复方法+金字塔注意力网络(Pyramid attention networks)超分辨算法等方法进行对比分析，验证了本发明提出的方法的有效性。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明的实施例提供一种基于生成对抗网络的人脸图像超分辨率修复超分辨率修复重建方法，包括：

获取待修复的低分辨率人脸图像；

将所述待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到所述基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像；

其中，所述基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将所述待修复的低分辨率人脸图像修复并重建为相应的所述经修复的高分辨率人脸图像。

进一步地，该基于生成对抗网络的人脸图像超分辨修复重建方法还包括：

所述基于生成对抗网络的人脸图像超分辨修复重建模型包括生成网络层和判别网络层；