[发明专利]基于加权残差和低秩约束的含噪人脸超分辨率重建方法

说明书

本发明公开了一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括对待重建的输入低分辨率人脸图像和高、低分辨率训练集相应划分相互重叠的图像块；对于输入低分辨率人脸图像的每一个位置上的图像块，分别从低分辨率人脸样本图像对应位置的图像块中找出最近邻的图像块，并对应找出相应高分辨率人脸样本图像中的图像块；考虑到混合高强度噪声对于重建误差的影响，对每个重建像素使用不同的权值进行干扰，降低重建误差，再利用低分辨率图像集与重建系数的联合低秩性约束得到最优重建权重，利用得到的重建权重计算出各图像块相应的高分辨率人脸图像块；按照人脸上的位置,融合成高分辨率人脸图像重构出高分辨率人脸图像。

技术领域

本发明涉及图像超分辨率技术领域，尤其涉及一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。

背景技术

人脸超分辨率重建技术将输入的低分辨率图像修复为高分辨率图像。即利用单帧或者连续多帧低分辨率人脸图像重建出一张或者多张高分辨率图像的技术。它在智能视频监控、数字娱乐、人脸合成与识别等领域具有广泛的应用背景，可以有效增强低质量图像的分辨率。

随着机器学习在计算机视觉中的成功应用，近年来,学者们提出了大量的基于学习的人脸超分辨率方法。这类方法根据高低分辨率图像构成的训练集这一先验信息,输入一张低分辨率的人脸图像,就可以超分辨率重建出一张高分辨率的人脸图像。Ma等人在相关文献中首次提出一种基于位置图像块的超分辨率方法,利用低分辨率样本库中相同位置的图像块对输入低分辨率图像块进行最小二乘表示来获得最优权重。有专利进一步改善了基于位置块的人脸超分辨率重建方法，还有文献在基于位置块的人脸超分辨率基础上，引入Tikhonov约束降低噪声对于重建的影响(TRNR)，获得了较好的效果。最近还有文献中提出一种错误收缩的方法对混合噪声(高斯噪声与椒盐噪声)情形下的人脸超分辨性能有一定的效果(ESSNR)。

现有技术中，大部分方法均是针对无噪声、单一噪声、低强度混合噪声图像的超分辨率重建，且重建引起的误差均使用简单的高斯分布来拟合。但在实际监控场景中,人脸图像往往不可避免的被高强度混合噪声所影响，此时，重建引起的误差不再服从简单的高斯分布。

发明内容

针对以上问题，本发明提出一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。

为实现本发明的目的，提供一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括如下步骤：

步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；

步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；

步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；

步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。

在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。