[发明专利]基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

权利要求书

1.基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法，其特征在于，包括以下步骤：

A、制作低分辨率人脸图像与对应高分辨率人脸图像训练集；

B、构建用于训练的生成对抗网络模型，在生成网络中加入亚像素卷积层，引入包含特征损失的加权型损失函数；

C、将步骤A得到的训练集依次输入生成对抗网络模型中进行模型训练，调整参数，达到收敛；

D、将待处理的图像进行预处理，输入步骤C得到的对抗模型得到超分辨率重建后的高分辨率图像；

所述损失函数包括判别网络的损失函数，所述判别网络的损失函数为原始高分辨率人脸图像与生成高分辨率人脸图像判别结果的交叉熵损失函数之和，其中，交叉熵损失函数为：

式中，z_y表示真实结果，z_j表示经过判别网络得到的结果，m为判别结果个数。

2.根据权利要求1所述的基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法，其特征在于，所述步骤A具体为：

A1、获取人脸数据集并判别图像质量；

A2、对人脸数据集中的每张图片进行人脸检测和关键点检测，通过人脸关键点对齐算法对图片进行处理得到尺寸归一化的高分辨率人脸图像I^HR；

A3、对高分辨率人脸图像I^HR进行高斯滤波，然后下采样得到低分辨率图像I^LR。

3.根据权利要求1所述的基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法，其特征在于，所述低分辨率图像I^LR的计算方法为：

其中，x，y为图像中的像素坐标点，σ²为高斯函数的方差，D_r(k)＝∑_i∈win(k)I_i/r₂，表示降采样函数，具体为降采样图像中的点k由图像I的k的邻域中的点计算得到，r为降采样比例；

高分辨率人脸图像I^HR和低分辨率图像I^LR的实际张量大小分别为rH×rW×C和H×W×C。

4.根据权利要求1所述的基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法，其特征在于，所述步骤B具体为：

B1、由多个神经网络卷积层构建生成网络并加入亚像素卷积层完成映射；

B2、叠加多个卷积层和全连接层搭建判别网络，实现生成对抗网络模型的损失函数，计算反向梯度，连接生成网络与判别网络组成生成对抗网络模型。

5.根据权利要求4所述的基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法，其特征在于，构建生成网络为搭建L-1层卷积网络，每一层输入图片大小与输出大小相同，其中，L为生成网络的网络深度，对于生成网络的前L-1层，表示为：

f^l(I^LR；W_1：l；b_1：l)＝φ(W_l*f^l-1(I^LR)+b_l)，

其中，W_l、b_l分别是神经网络中可学习的权重值和偏移值；l表示层数，l∈(1，L-1)；

W_l是2D的大小为n_l-1×n_l×k_l×k_l的卷积核，n_l是第l层的特征层数，n₀＝C；k_l是第l层的卷积核尺寸，b_l是长度为n_l的向量，φ为非线性函数；

亚像素卷积层的实现过程为：

其中W_L是大小为n_L-1×r²C×k_L×k_L的权重值，是一个周期随机打乱操作将一个大小为H×W×r²C张量变换为大小为rH×rW×C的张量。