[发明专利]目标人脸图像的修复方法和装置

说明书

本发明提供了一种目标人脸图像的修复方法和装置，涉及图像修复的技术领域，该方法包括：通过训练好的编码器从目标人脸图像中提取图像特征，生成所述目标人脸图像对应的第一一维特征向量，其中，所述训练好的编码器与训练好的StyleGan生成器的采样过程相逆；将所述第一一维特征向量输入所述训练好的StyleGan生成器，得到所述目标人脸图像修复后的第一高清人脸图像。以此实现通过StyleGan生成器可以针对指定的低清人脸图像生成高清人脸图像，从而实现对人脸图像的修复。

技术领域

本发明涉及图像修复技术领域，尤其是涉及一种目标人脸图像的修复方法和装置。

背景技术

图像修复技术是图像处理领域一个重要的分支问题。图像修复是指对在图像保留过程中引起的图像信息缺失进行修复重建或者去除图像中的多余物体后的修复。现如今，图像修复已广泛应用于老照片修复、文物保护、去除多余物体等具体场景。

由于自然图像固有的模糊和复杂性，特别是针对人脸图像可能修复存在修复细节模糊，修复图像不平滑等问题，传统方法的修复效果不佳，无法生成人脸的高清图像。

发明内容

本发明的目的在于提供一种目标人脸图像修复方法和装置，通过与StyleGan生成器采样过程相逆的编码器，生成指定目标人脸图像对应的一维特征向量，再将该一维特征向量输入生成器生成指定目标人脸的高清图像，进而实现对人脸图像的修复。

第一方面，实施例提供一种目标人脸图像修复方法，包括：通过训练好的编码器从目标人脸图像中提取图像特征，生成目标人脸图像对应的第一一维特征向量，其中，该训练好的编码器与训练好的StyleGan生成器的采样过程相逆；将第一一维特征向量输入训练好的StyleGan生成器，得到目标人脸图像修复后的第一高清人脸图像。

在可选的实施方式中，StyleGan生成器先经过全连接层结构再经过预设个数卷积和上采样结构，编码器先经过预设个数卷积和下采样结构再经过全连接层结构，其中，编码器与StyleGan生成器的卷积核大小、全连接层结构个数、预设个数相一致。

在可选的实施方式中，通过训练好的编码器从目标人脸图像中提取图像特征，生成目标人脸图像对应的第一一维特征向量的步骤，包括：

通过训练好的编码器中的第一卷积和下采样结构从目标人脸图像中提取第一图像特征，生成第一特征图；通过训练好的编码器中的第i卷积和下采样结构从第i-1特征图中提取第i图像特征，生成第i特征图，重复执行第i特征图的生成步骤，直至编码器中的卷积和下采样结构都被遍历，得到目标特征图，i为大于1且不超过预设个数的整数，i从小到大进行取值；通过训练好的编码器将目标特征图进行映射得到目标人脸图像对应的第一一维特征向量。

在可选的实施方式中，将第一一维特征向量输入训练好的StyleGan生成器，得到目标人脸图像修复后的第一高清人脸图像的步骤，包括：通过训练好的StyleGan生成器中的第一卷积和上采样结构将一维特征向量和第k特征图融合生成第一修复特征图；通过训练好的StyleGan生成器中的第j卷积和上采样结构将第j-1修复特征图和第k-1特征图融合生成第j修复特征图，重复执行第j修复特征图的生成步骤，直至生成器中的卷积和上采样结构都被遍历，得到目标修复特征图，j为大于1且不超过预设个数的整数，k为大于1且不超过预设个数的整数，j从小到大进行取值，k从大到小进行取值；根据目标修复特征图得到目标人脸图像修复后的第一高清人脸图像。

在可选的实施方式中，方法还包括：确定训练样本集，训练样本集中的每组训练样本包括低清人脸图像样本、一维特征向量样本以及高清人脸图像样本；基于训练样本集中的低清人脸图像样本和一维特征向量样本，对初始编码器进行训练得到中间编码器；基于训练样本集中的低清人脸图像样本和高清人脸图像样本，对中间编码器和预先训练的中间StyleGan生成器，得到训练好的编码器和训练好的StyleGan生成器。