[发明专利]一种基于GAN人脸先验信息预测和融合的人脸图像修复方法

说明书

本发明涉及一种基于GAN人脸先验信息预测和融合的人脸图像修复方法，本发明方法的神经网络以VAE结构为主干网络，包括两个阶段，首先经过stage‑I阶段的粗修神经网络生成具有人脸结构内容信息的粗糙图像，同时通过融合人脸轮廓，区域和关键点中间特征得到人脸生成指导信息，然后为了更好的考虑人脸结构信息，通过stage‑II阶段的精修神经网络对stage‑I的结果进行精修，在第二生成器中间引入指导信息以实现人脸细节、结构精细化，最终生成自然和谐，结构对称的人脸图像，本发明采用全局和局部两种判别器来做监督，以保证生成更高质量的人脸图像。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于GAN人脸先验信息预测 和融合的人脸图像修复方法。

背景技术

图像补全作为计算机视觉任务中的热门领域，旨在利用视觉上合理的内 容填充补全图像的缺失部分。脸部补全作为图像补全的一种特殊情况，旨在 不受姿势和方向约束，完成被遮挡面部区域的修复。但是，现有的人脸补全 方法只包含一个简单的面部特征来完成人脸补全，其结果是还是不令人满， 且存在易于被检测到的缺陷。此外，在缺失部分附近经常存在模糊的边界和 细节。特别地，对于面部修复，面部区域信息(结构信息，轮廓信息和内容 信息)尚未被充分利用，这将导致生成的面部图像不自然，例如：眉毛不对 称、眼睛大小不一。与传统的图像修复方法不同，面部修复需要有关目标对 象的内容，轮廓和结构信息，以实现自然逼真的输出。但是这些一般的图像 修复方法仅仅关注整幅图像的清晰度，并没有考虑人脸的特殊性，也没有充 分地探索和利用面部语义信息，从而生成的人脸面部图像不自然、模糊和失 真，缺乏人脸纹理细节。尤其在COVID-19疫情等特殊情况下，人脸补全可 以有效的摘除口罩，恢复人脸全貌。因此，基于深度学习的人脸图像补全仍 然是面部修复的一个具有挑战性的主课题。

现有技术方案存在以下的不足：

1、难以补全缺失区域很大的图像

传统图像补全方法一般选择利用背景连续性完成前景缺失区域补全，拷 贝相似区域填充到缺失区域来完成图像补全。该类方法将无法解决缺失区域 很大的面部图像补全问题。不建议根据其他面部区域来补全缺失的大面积人 脸区域。实际上，具有正方形掩模的大块缺失区域比不规则掩模或较小的正 方形缺失掩模更难以完成，这是因为卷积核的接受范围是方形的，并且一旦 卷积核到达缺失区域，卷积核就无法捕获任何有用信息。而对于不规则或较 小的缺失部分，卷积核可以从背景或缺失区域中在接收场中捕获有用的信息。 因此某些图像修复方法通常修复不规则、或较小的正方形掩模来验证方法的 有效性，与实际需求不相符合。

2、难以从背景图像中生成自然和谐的脸部

针对人脸缺失图像，其缺失区域的内容与背景区域的内容非常不同，因 此很难从背景图像中生成自然和谐的脸部。例如，某些图像修复方法使用注 意力机制搜索背景区域以找到缺失区域的相似块，但每个图像的每个缺失锁 与周围背景块的相似性匹配都需要花费很长时间来训练，并且容易产生面部 特征变形。

3、修复网络的适应性和修复结果的正确性需要提高

人脸缺失图像补全应重点关注重建具有自然和谐特征的人脸面部部分， 而自然图像补全方法或部分人脸补全方法仅关注整幅图像的清晰度或简单 考虑面部特征来完成人脸补全，并没有考虑人脸的特殊性，也没有充分地探 索和利用面部语义信息，从而生成的人脸面部图像不自然、模糊和失真，缺 乏人脸纹理细节。因此，人脸补全仍然是一个具有挑战性的课题，因为它需 要为缺失的关键组件生成语义上的新像素，并在结构和外观上保持一致性。 如何提高修复网络的适应性和修复结果的正确性还需要进一步研究。

为解决这些问题，我们提出了一种新的生成对抗网络，该网络在获得人 脸先验面部融合信息网络的辅助下，可进行大面积缺失的人脸修复。

发明内容

针对现有技术之不足，一种基于GAN的人脸预测和融合的人脸图像修 复方法，所述方法包括：