[发明专利]基于二维多集偏最小二乘的人脸图像超分辨率重建方法

说明书

本发明公开了基于二维多集偏最小二乘的人脸图像超分辨率重建方法，包括以下步骤，1人脸图像首先被分为多个重叠的图像块，再利用二维多集偏最小二乘方法提取二维人脸图像块的潜在特征；2利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建；3最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像。本发明具有一定的理论基础，创新性地提出了二维多集偏最小二乘方法，在不同数据库下测试结果表明具有较强的鲁棒性，有一定的市场实施的可行性，解决了目前绝大多数现有算法无法处理的多视图超分辨率问题，具有较大的创新性与实用性。

技术领域

本发明涉及超分辨率重建领域，特别涉及基于二维多集偏最小二乘的人脸图像超分辨率重建方法。

背景技术

传统的人脸识别方法是在理想的姿态以及光照条件下工作，但是，大多数实际生活中捕获到的人脸图像是低分辨率的，前面提到的人脸识别算法通常在低分辨率问题下表现较差，为了解决这一问题，近些年来许多有效的人脸超分辨率重建方法被提出，其目标是从输入的低分辨率图像中重建出高分辨率的人脸图像。但传统的人脸超分辨率算法无法保持图像的二维结构，且无法同时处理多种分辨率人脸图像输入的问题。

除了低分辨率问题以外，在现实生活中，人们通常需要面对同一人脸具有多种不同分辨率视图的情况，例如一段视频序列中的同一个人，随着距离、姿态的变化通常有着不同分辨率大小的人脸图像。对于多种不同的低分辨率视图，目前大多数方法一次只能训练一对高低分辨率视图，这种处理方式十分耗时且效率低下，不能有效利用不同分辨率视图之间的相关关系，迄今为止，共同学习多种视图之间关系还没有得到广泛关注。

发明内容

本发明的目的是克服现有技术缺陷，提供基于二维多集偏最小二乘的人脸图像超分辨率重建方法，将人脸图像分为多个重叠的图像块，再利用二维多集偏最小二乘方法提取二维人脸图像块的潜在特征，利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建，最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像。

本发明的目的是这样实现的：基于二维多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1在训练阶段利用训练集学习不同分辨率视图之间的潜在相关关系，将训练集中的不同视图的高频图像和其相对应的低分辨率图像分成重叠的图像块，利用二维多集偏最小二乘法对二维图像块进行特征提取，计算二维多集偏最小二乘投影矩阵，将二维图像块投影到二维多集偏最小二乘子空间；

步骤2在测试阶段，将输入的多种低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率的二维多集偏最小二乘投影矩阵将输入的二维低分辨率图像块投影到二维多集偏最小二乘法子空间，利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建。

步骤3最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像。

作为本发明的进一步限定，步骤1中所述计算二维多集偏最小二乘投影矩阵包含以下步骤：

(1)对于m个视图二维中心化随机变量其中p_i和q_i分别表示xⁱ的两个维度，二维多集偏最小二乘法目的为寻找两组线性变换和其中d₁和d₂分别为左投影向量和右投影向量的维度。二维多集偏最小二乘的最优化问题表示如下：

s.t.(Lⁱ)^TLⁱ＝(Rⁱ)^TRⁱ＝I,i＝1,…,m,

其中Cov(·)表示矩阵的协方差；