[发明专利]一种融合单帧重建网络的人脸视频超分辨率重建方法

说明书

本发明提供了一种融合单帧重建网络的人脸视频超分辨率重建方法，包括以下步骤：(1)分别对作为训练集的单帧人脸图像和人脸视频进行大小归一化预处理；(2)采用密集网络构建生成对抗网络来训练单帧人脸图像模型；(3)融合单帧重建网络构造基于动态上采样滤波器和亚像素卷积的人脸视频超分辨率重建模型；(4)将低分辨率人脸视频经过训练后的模型进行处理即可得到高分辨率人脸视频。本发明提出的融合单帧重建网络的人脸视频超分辨率重建方法，不仅能有效提高重建视频的峰值信噪比和结构相似性，而且能重建视频的视觉效果。

技术领域

本发明涉及计算机视觉技术领域，具体为一种融合单帧重建网络的人脸视频超分辨率重建方法。

背景技术

图像超分辨率重建通过使用低分辨率的单帧图像或视频重建出高分辨率图像，它的原理主要在于从图像或视频中提取相关性和互补性比较强的特征，并使用这些特征来提高图像分辨率。这种方法不需要改变硬件设备，可以改善已有的低分辨图像而且使用成本低。

视频监控在公共安全领域中的作用越来越重要，然而其面临的一个主要难题是：由于成像设备自身限制和公共场所复杂环境影响，往往导致视频中的人脸图像的分辨率比较低，从而清晰度较差、不易辨认。因此，如何使用图像超分辨率重建技术重建出高质量的人脸图像，成为当前的一个研究热点。

目前，视频超分辨率技术主要分为两大类：其一是基于传统机器学习的方法，如通过专门处理运动估计或使用贝叶斯方法来解决视频超分辨率重建，并没有生成很好的效果。另一种是基于深度学习的方法，例如，Shi等提出基于亚像素卷积神经网络ESPCN(Real-time single image and video super-resolution using an efficient sub-pixelconvolutional neural network)来提升图像尺寸。Kappeler等基于CNN构建视频超分辨率重建框架VSRnet(Video Super-Resolution with Convolutional Neural Networks)，并借助图像数据库来预训练模型，可以加快训练的速度，经测试此方法重建效果优于基于贝叶斯方法的视频超分辨率重建。

虽然已有许多视频超分辨率重建方法，但是仍然存在重建后的人脸视频比较模糊、细节不够丰富等。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种融合单帧重建网络的人脸视频超分辨率重建方法，采用密集网络可以提取更多的图像高频细节，重建更高清的视频。

为实现上述目的，本发明提供如下技术方案：一种融合单帧重建网络的人脸视频超分辨率重建方法，包括以下步骤：

(1)分别对作为训练集的单帧人脸图像和人脸视频进行大小归一化预处理；

(2)采用密集网络构建生成对抗网络来训练单帧人脸图像模型；

(3)融合单帧重建网络构造基于动态上采样滤波器和亚像素卷积的人脸视频超分辨率重建模型；

(4)将低分辨率人脸视频经过训练后的模型进行处理即可得到高分辨率人脸视频。

进一步的，所述步骤(2)包括以下步骤：

第一步，单帧人脸图像特征提取：采用密集网络来提取人脸图像的特征；

第二步，人脸图像上采样过程：同时采用反卷积和亚像素卷积两种上采样方法来放大人脸图像特征图尺寸，然后把这两种上采样方法得到的特征图相加；

第三步，设计损失函数：首先使用损失函数MSE来提升重建图像的质量，其公式为：

其中，I^HR是高分辨率人脸图像，I^LR是低分辨率人脸图像，尺寸为W*H，G是生成器模型，r是缩放系数；