[发明专利]基于语义解析生成指导的人脸图像修复方法

说明书

本发明提出了一种基于语义解析生成指导的人脸图像修复方法。该方法包括人脸解析恢复网络和图像补全网络。本发明的创新之处在于，人脸解析在人脸恢复过程中起着重要的作用。人脸解析图像整洁而简洁，可以作为结构信息的有效指南。此外，本发明引入了语义补偿模块来增强语境信息的聚合，设计了语境注意模块来提高外观的合理性。本发明还在第二阶段引入上下文注意模块，进一步提高外观的合理性。我们进行了大量的实验来揭示所设计方法的有效性。同时与其他同类方法比较，生成的人脸图像更加合理和清晰，相关评价指标更高。

技术领域

本发明属于图像建模、计算机视觉、图像生成领域，涉及一种基于语义解析生成指导的人脸图像修复方法。

背景技术

众所周知，图像修复的主要目的是恢复受损区域的合理像素。与丰富多样的自然场景相比，面部图像更加纯净，为大家所熟悉。因此，在这类图像上很容易发现任何微小的瑕疵。因此，人脸图像修复一直是一项艰巨的任务。传统的图像修复技术通常通过扩散方法将低级特征从完整区域转移到受损区域。近年来，深度学习技术的发展极大地促进了图像修复的进步。

令人惊讶的是，由于每一个细节信息都非常重要，我们认为一个简单直接的网络框架可能不适合。因此，本文提出了一种基于两阶段的修复结构。这里首先重构面部语义解析图像，能够清晰地反映整个面部的结构。与直接的整体人脸修复相比，解析图像的修复要容易得多，因为它的结构明显更简单，包含的细节信息也少得多。前人的一些工作已经成功地将人脸解析图像应用于人脸生成任务。但与它们不同的是，本文将其用于人脸图像修复。基于这一主要思想，提出了一个生成式句法分析指导网络(GPG-Net)框架。该两级结构由人脸解析恢复子网和图像修复子网组成。具体来说，在人脸解析重构网络中加入了语义补偿模块结构，可以保证上下文信息的有效聚合。另一方面，在第二阶段引入上下文注意模块结构，该结构包含选择细粒度特征的自注意模块，以保证图像的一致性。在公开可用的CelebA-HQ数据集上进行了大量实验，以验证所提出方法的有效性。

发明内容

人脸修复是计算机视觉和图像处理领域中一项有趣而又富有挑战性的任务。本文提出了一种基于句法分析的人脸图像修复方法。显然，完整的面部图像可能包含大量的细节，因此当存在严重的损伤时，直接整体重建是非常困难的。为了解决这个问题，我们选择首先恢复由解析图像表示的整体图像结构，与详细的原始图像相比，解析图像相当简单。基于这一思想，提出了一种基于两阶段的人脸修复框架。

我们的方法架构：

1.人脸解析图像重建网络

为了准确地恢复原始未受损的人脸图像，首先建立了人脸解析图像重建子网，以发现完整的人脸整体结构。它由一代网络Gp和鉴别网络Dp组成。这里发电机Gp的灵感来自众所周知的U-Net结构。具体来说，它包括一个下采样编码器、八个包含扩展卷积的残差块和一个解码器。几个单片机单元被合并到解码器中，以实现更好的语义特征捕获。鉴频器采用70 ×70PatchGan的相同结构。我们还在鉴别器中引入了谱归一化来稳定训练。

2.面部修复网络

在获取人脸解析图像后，设计了一个人脸完成子网络来恢复所有丢失的图像细节。这个网络也是一个生成器和鉴别器的结构。这里，生成器由三个下采样编码块、七个残差块、上下文注意模块单元和上采样编码器组成。此外，在编码器和解码器之间增加了一个跳跃连接。在每个解码层之前添加1×1卷积运算作为通道，可以更好地学习上下文特征。鉴别器的结构与人脸解析重建网络的结构基本一致，它决定了结果是否是真实的人脸图像。此外，为了获得更多的上下文特征，在鉴别器中引入了一个注意力上下文模块。

3.语义补偿模块