[发明专利]基于语义解析生成指导的人脸图像修复方法

权利要求书

1.基于语义解析生成指导的人脸图像修复方法，包括下列步骤：

方法训练阶段：

(1)实验在CelebA-HQ数据集上进行，该数据集被随机分成24183/2993/2824幅图像，分别用于训练、验证和测试。G_p-net的人脸语义标签由CelebAMask-HQ数据集提供，这是一个大规模的人脸分割数据集，由30,000个人工标注的数据组成，涉及19个类别；

(2)在我们的实验中，所有图像都具有256×256的统一尺寸。模型使用Adam优化器进行优化，β1＝0，β2＝0.9，生成模型的学习速率为10^-4，而鉴别器的学习速率为10^-5。

在线使用阶段：

(3)加载本模型第一阶段的生成器的参数，生成破损图像的语义解析图

(4)加载本模型第二阶段的生成器的参数，输入为第一阶段的语义解析图和破损的人脸图像，输出为经过指导修复的完整人脸图像。

2.根据权利要求1所述的语义解析生成指导的人脸图像修复方法，其特征在于，步骤(1)中，训练图像的大小均为256*256，所有图像主体均清晰可辨，训练样本集合中包含真实图像30000幅。类别标签为19类。

3.人脸解析图像重建网络：

为了准确地恢复原始未受损的人脸图像，设计了人脸解析图像重建子网络G_P-Net，以发现完整的人脸整体结构。为了准确地恢复原始未受损的人脸图像，首先设计了人脸解析图像重建子网络，以发现完整的人脸整体结构。它由一个生成网络G_p和一个判别网络D_p组成该网络包括一个下采样编码器，八个残余块包含一个扩张卷积和一个解码器。为了更好地实现语义特征捕获，将多个语义补偿模块合并到解码器中。该鉴别器采用相同的70×70PatchGan结构。我们还在鉴别器中引入了光谱归一化来稳定训练。详细的人脸解析图像重建子网络架构如表所示：

4.人脸补全子网络G_c-Net：

在获取人脸解析图像后，设计一个人脸补全子网络来恢复所有缺失的图像细节。该网络也是一个生成器和鉴别器的结构，如图1底部所示。这里，生成器由三个下采样编码块、七个剩余块、一个上下文注意模块单元和一个上采样编码器组成。此外，在编码器和解码器之间增加了一个跳跃连接。在每个解码层之前添加1×1卷积运算作为信道，可以更好地学习上下文特征。鉴别器的结构与人脸解析重建网络的结构基本一致，这决定了结果是否是真实的人脸图像。此外，在鉴别器中引入了上下文注意力模块，以获得更多的上下文特征。

详细的人脸修复网络架构如表所示：

5.语义补偿模块

网络深层和浅层的直接融合可能会导致明显的语义鸿沟。针对这一问题，我们设计了一种语义补偿模块结构，该结构通过并行捕获特征并引入层次组合来有效补偿语义差距。这里，通过通道均衡和模块级联，可以保证输入输出通道的一致性。信道均衡模块使不同分支的信道大小相等。具体来说，它由两个分支组成，即{3×1，1×3}的扩张卷积对，每个扩张速率为r_i，它决定了卷积区间的跨度，从而获得多尺度上下文。另一方面，不同的竞争值r_i为不同的分支设置。将浅层的特征信息与当前的特征图进行元素级求和。通过该模块，我们可以有效地获得鲁棒的多尺度特征，提高上下文的丰富度。

6.注意力上下文模块

为了使网络学习到更丰富的上下文依赖信息，提高不同通道之间的上下文依赖程度，我们设计了一种新的上下文自我注意模块结构。自我注意地图首先通过以下方法计算：

其中F_de为解码器中间层的特征，W×H为像素数，F_i和(F_i·F_j)是可学习参数矩阵。然后，输出y_de可以表示为：

式中，用标度参数λ_de是来平衡相对重量。为了结合编码器层的特征，我们有一个上下文信息特征，输出y_en可表示为：

其中缩放参数λ_en是用来结合注意特征和编码器特征F_en。最后，自注意和上下文信息特征被聚合并发送到另一个解码器层。