[发明专利]视频图像超分辨率重建方法、装置、服务器及存储介质

权利要求书

1.一种视频图像超分辨率重建方法，其特征在于，包括：

从视频流中提取至少两个连续的目标图像帧，所述目标图像帧包含有待识别人脸的图像信息；

跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列；

计算所述待识别人脸的目标人脸特征点热力图；

采用预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建，得到超分辨率人脸图像。

2.如权利要求1所述的视频图像超分辨率重建方法，其特征在于，在所述根据预先训练完成的人脸图像重建模型对所述人脸序列进行人脸图像重建，得到超分辨率人脸图像之前，包括：

从预先确定的视频流中获取2n+1帧的第一分辨率人脸图像；

对所述2n+1帧的第一分辨率人脸图像进行下采样处理，得到2n+1帧的第二分辨率人脸图像，所述第一分辨率高于所述第二分辨率；

从所述2n+1帧的第一分辨率人脸图像中获取第n帧第一分辨率人脸图像，基于所述第n帧第一分辨率人脸图像和所述2n+1帧的第二分辨率人脸图像生成人脸特征对；

将所述人脸特征对输入预先建立的对抗神经网络模型进行训练，得到生成网络输出的生成人脸图像，所述生成人脸图像的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同，所述对抗神经网络模型包括生成网络和识别网络；

分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图；

基于所述生成人脸图像的人脸特征点热力图、所述第n帧第一分辨率人脸图像的人脸特征点热力图以及所述人脸特征对训练所述对抗神经网络模型，得到训练完成的所述人脸图像重建模型。

3.如权利要求2所述的视频图像超分辨率重建方法，其特征在于，所述分别计算生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图，包括：

检测所述生成人脸图像中的第一人脸关键特征点以及检测所述第n帧第一分辨率人脸图像中的第二人脸关键特征点；

计算所述第一人脸关键特征点分别在所述生成人脸图像中的第一概率分布，以及计算所述第二人脸关键特征点分别在所述第n帧第一分辨率人脸图像中的第二概率分布；

基于所述第一概率分布形成第一概率分布图，所述第一概率分布图为所述生成人脸图像的人脸特征点热力图；

基于所述第二概率分布形成第二概率分布图，所述第二概率分布图为所述第n帧第一分辨率人脸图像的人脸特征点热力图。

4.如权利要求3所述的视频图像超分辨率重建方法，其特征在于，所述人脸图像重建模型为：

G′_loss＝G_loss+α·l_heatmap+β·l_p

其中，G′_loss为所述人脸图像重建模型的损失函数，G_loss为生成网络的损失函数，α，β为常数项，l_heatmap为由所述生成人脸图像的人脸特征点热力图与所述第n帧第一分辨率人脸图像的人脸特征点热力图决定的损失函数，l_p为由所述生成人脸图像的人脸关键特征点与所述第n帧第一分辨率人脸图像的人脸关键特征点决定的感知损失函数。

5.如权利要求4所述的视频图像超分辨率重建方法，其特征在于，所述由所述生成人脸图像的人脸特征点热力图与所述第n帧第一分辨率人脸图像的人脸特征点热力图决定的损失函数l_heatmap表示为：

其中，为所述生成人脸图像G(X)中坐标位置为(i,j)的第n个第一关键特征点的热力图，为所述第n帧第一分辨率人脸图像中坐标位置为(i,j)的第n个第二关键特征点对应的热力图。