[发明专利]一种融合单帧重建网络的人脸视频超分辨率重建方法

权利要求书

1.一种融合单帧重建网络的人脸视频超分辨率重建方法，其特征在于：包括以下步骤：

(1)分别对作为训练集的单帧人脸图像和人脸视频进行大小归一化预处理；

(2)采用密集网络构建生成对抗网络来训练单帧人脸图像模型；

所述步骤(2)包括以下步骤：

第一步，单帧人脸图像特征提取：采用密集网络来提取人脸图像的特征；

第二步，人脸图像上采样过程：同时采用反卷积和亚像素卷积两种上采样方法来放大人脸图像特征图尺寸，然后把这两种上采样方法得到的特征图相加；

第三步，设计损失函数：首先使用损失函数MSE来提升重建图像的质量，其公式为：

其中，I^HR是高分辨率人脸图像，I^LR是低分辨率人脸图像，尺寸为W*H，G是生成器模型，r是缩放系数；

其次，在MSE的基础上引入特征损失函数，该函数可以计算图像特征之间的误差，利用在ImageNet上训练好的VGG19的模型来提取图像的特征，公式如下：

其中，W_i,j和H_i,j是经过VGG19模型的特征图尺寸，φ_i,j代表人脸图像经过VGG19模型第i层最大池化前和第j层卷积后的输出；考虑到人脸图像过小，首先把人脸图像缩放到224*224，然后取值i＝5和j＝4；

以上两个损失函数都是为了计算图像之间的像素差值，另外，本算法鼓励生成器试图去欺骗判别器，因此其生成器损失函数是基于判别器，公式如下：

其中，D是判别器，G是生成器；

最后，结合以上三个损失函数，就是单帧重建网络的损失函数：

第四步，人脸图像重建：上采样后的图像特征经过一个大小为1*1的卷积层，并被tanh激活输出，进而生成高分辨率人脸图像；

(3)融合单帧重建网络构造基于动态上采样滤波器和亚像素卷积的人脸视频超分辨率重建模型；

(4)将低分辨率人脸视频经过训练后的模型进行处理即可得到高分辨率人脸视频。

2.根据权利要求1所述的融合单帧重建网络的人脸视频超分辨率重建方法，其特征在于：所述步骤(3)包括以下步骤：

第一步，首先把一组视频帧经过共享2D卷积处理并根据时间轴连接，然后通过共享参数的3D密集块和3*3卷积层分为两个分支：

其一为提取残差图像，采用亚像素卷积对视频特征向量进行上采样，输出为rH*rW*C的残差图像R_t，r是缩放系数，H*W是低分辨率帧的尺寸，C为视频帧的通道数；

其二为构造动态上采样滤波器，通过两个1*1的卷积输出一组大小为5*5的r²HW的上采样滤波器F_t；

第二步，使用中间的视频帧作为输入，首先与一组滤波器F_t结合来生成滤波后的高分辨率视频帧其次输入到单帧重建网络的生成器模型输出高分辨率视频帧G_t；

第三步，R_t和G_t相加来生成最终的高分辨率视频帧

3.根据权利要求2所述的融合单帧重建网络的人脸视频超分辨率重建方法，其特征在于：所述步骤(3)第一步中构造动态上采样滤波器方法，包括以下步骤：

第一阶段，将一组低分辨率帧{X_t-N:t+N}送入动态上采样滤波器生成网络，训练这个生成网络并输出一组大小为5*5的r²HW的上采样滤波器F_t，r是缩放系数，H W是低分辨率帧的尺寸；

第二阶段，对低分辨率帧X_t中的像素进行局部滤波，得到对应低分辨率像素的高分辨率图像的像素值，对应的滤波器是F_t^y,x,v,u，公式如下：

其中，x，y是低分辨率栅格的坐标，v和u是每个r*r输出块的坐标，v＝0,u＝r-1；这种操作类似于反卷积，它允许反向传播，因此可以对网络进行端到端的学习。