[发明专利]基于生成对抗网络的人脸图像超分辨修复重建方法及系统

权利要求书

1.一种基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，包括：

获取待修复的低分辨率人脸图像；

将所述待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到所述基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像；

其中，所述基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将所述待修复的低分辨率人脸图像修复并重建为相应的所述经修复的高分辨率人脸图像。

2.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述基于生成对抗网络的人脸图像超分辨修复重建模型包括生成网络层和判别网络层；

其中，所述生成网络层用于至少基于所述改进的残差结构，将所述待修复的低分辨率人脸图像修复为完整的低分辨率人脸图像并再将所述完整的低分辨率人脸图像重建为所述经修复的高分辨率人脸图像，或，将所述待修复的低分辨率人脸图像重建为高分辨率人脸图像并再将所述高分辨率人脸图像修复为所述经修复的高分辨率人脸图像；

所述判别网络层用于判别通过所述生成网络层输出的所述经修复的高分辨率人脸图像的真实程度。

3.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述改进的残差结构包括：残差上采样、特征补偿和残差下采样模块。

4.根据权利要求3所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述方法还包括：在ResNet残差块的基础上，结合最大池化、实例标准化以及镜像填充构建所述残差上采样模块、特征补偿模块和残差下采样模块。

5.根据权利要求2所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述生成网络层包括编码网络层En、特征补偿网络层Fc和解码网络层De，其中，

所述编码网络层En包括：卷积层和残差下采样模块，用于将人脸图像编码为三维的特征矩阵；

所述特征补偿网络层包括特征补偿模块，并且在所述特征补偿网络层内特征图尺寸和通道数保持不变；以及

所述解码网络层De包括：卷积层、残差上采样模块及金字塔注意力机制模块，并且在所述解码网络层的卷积层中采用转置卷积的方式进行上采样，在修复破损区域的同时将人脸图像扩大N倍以输出所述经修复的高分辨率人脸图像，其中，N为大于等于1的正整数。

6.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述方法还包括：使用四个独立的卷积层从解码网络的后四层提取不同尺度的生成图像，并且使用双线性插值法从高分辨率的人脸图像真值得到的不同尺度的图像真值，通过多尺度的重建损失约束特征解码过程，提高所述经修复的高分辨率人脸图像与原始图像的相似性。

7.根据权利要求1所述的基于生成对抗网络的人脸图像超分辨修复重建方法，其特征在于，所述方法还包括：基于人脸图像的训练样本，通过对抗的方法分阶段来训练所述基于生成对抗网络的人脸图像超分辨修复重建模型的所述生成网络层，包括：

将完整的低分辨率人脸图像输入至所述编码网络En，由所述解码网络De输出高分辨人脸图像；以及

将破损的低分辨率人脸图像输入至所述编码网络En，通过所述特征补偿网络Fc后，由所述解码网络De输出经修复的高分辨人脸图像。

8.一种基于生成对抗网络的人脸图像超分辨修复重建系统，其特征在于，包括：

人脸图像获取模块，用于获取待修复的低分辨率人脸图像；以及

人脸图像超分辨修复重建模块，用于将所述待修复的低分辨率人脸图像输入至经训练的基于生成对抗网络的人脸图像超分辨修复重建模型中，得到所述基于生成对抗网络的人脸图像超分辨修复重建模型输出的经修复的高分辨率人脸图像，其中所述基于生成对抗网络的人脸图像超分辨修复重建模型用于至少基于改进的残差结构，将所述待修复的低分辨率人脸图像修复并重建为相应的所述经修复的高分辨率人脸图像。