[发明专利]基于多集典型相关分析的人脸图像超分辨率重建识别方法

权利要求书

1.基于多集典型相关分析的人脸图像超分辨率重建识别方法，其特征在于，包括以下步骤：

步骤1)在训练阶段利用训练集学习不同分辨率视图之间的相关关系，将不同分辨率对应的训练集中的每幅图像分成重叠的图像块，使用PCA对每块图像提取主成分特征，利用MCCA进行特征提取，计算MCCA投影矩阵，并将每个图像块的主成分特征投影到MCCA的一致相干子空间；

步骤1)中所述训练阶段包括以下步骤：

(1)给定多个分辨率视图人脸图像训练集为其中m为分辨率视图的数量，将每幅图像分成n个s×s大小的重叠o像素的图像块，其中N为样本的数量，为位于第p(1≤p≤n)个位置的图像块的集合，表示第i个视图中第j张人脸图像的第p个位置的图像块向量，通过去除均值对进行中心化，利用PCA提取的主成分特征：

其中表示中心化后的图像块集，和分别为PCA变换矩阵和第i个视图第p个位置的主成分特征；

(2)去除均值得到中心化的MCCA目的为寻找m个投影方向来最大化之间相关系数之和，可以表示为如下优化问题：

其中为视图内的协方差矩阵，为视图间的协方差矩阵，μ为正则化参数，I为单位矩阵，利用拉格朗日乘子法可以得到如下等式：

其中λ₁,λ₂,...,λ_m为多元特征值，利用Horst算法迭代求解该等式，可以得到前d个特征向量并构成m个视图的投影矩阵i＝1,2,...,m，利用可以将所有不同分辨率视图的高维特征投影到一致子空间：

步骤2)在测试阶段，将输入的低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率视图的PCA投影矩阵得到每个图像块的主成分特征，使用相应低分辨率视图的MCCA投影矩阵将主成分特征投影到MCCA子空间，利用邻域重建策略重建出全局人脸图像，再通过残差补偿对全局人脸图像补充细节；

步骤2)中所述测试阶段包括以下步骤：

(1)对于输入的低分辨率人脸图像x_t，假设其位于第i个分辨率视图并且第h个分辨率视图为对应的高分辨率视图，首先将其分成n个重叠的图像块对于每个图像块，计算它的主成分特征：

再将其投影到一致子空间：

(2)利用邻域重建策略恢复高分辨率特征对于从中找到k个欧氏距离上的最近邻最小化如下重建误差：

其中‖·‖为向量的二范数，设通过得到权重系数将权重系数应用到相应的高分辨率特征上，得到通过逆运算计算高分辨率主成分特征，再通过以及块合并得到高分辨率全局人脸图像

(3)针对在p位置上的人脸图像块，利用残差补偿恢复其人脸细节信息，利用上述步骤生成原始低分辨率视图人脸图像块的高分辨率全局人脸设为将经过下采样处理的人脸图像矩阵，高低分辨率残差人脸图像块可以通过如下方式得到：

和

对于上述重建出的全局人脸图像块其低分辨率人脸图像块的残差人脸图像为其中为经过下采样后的图像，利用上述(2)中的邻域重建策略，从中寻找k个最近邻并获得权重系数W_p，将权重系数应用到对应的高分辨率残差块中得到利用块合并得到重建出的残差人脸图像

步骤3)最终输出的超分辨率重建结果为全局人脸图像加上残差人脸图像。

2.根据权利要求1所述的基于多集典型相关分析的人脸图像超分辨率重建识别方法，其特征在于，步骤3)中所述的最终输出的超分辨率重建结果为