[发明专利]一种面向识别的低分辨率人脸图像特征超分辨率重建方法

摘要

一种面向识别的低分辨率人脸图像特征超分辨率重建方法。其特征在于，算法分为两个阶段：离线阶段和在线阶段。所述离线阶段包括，建立训练样本库、分辨率鲁棒特征提取、一致性空间转换、面向识别的P‑KPLS(Piecewise Kernel Partial Least Squares，分段核偏最小二乘法)回归模型训练和高分辨率人脸图像特征库的建立；所述在线阶段包括，人脸图像特征提取、一致性空间转换、预测高分辨率人脸图像特征、特征加权组合和识别。本发明采用机器学习的方法，通过学习低分辨率与高分辨率人脸图像特征的对应关系，将低分辨率人脸图像特征重建为高分辨率人脸图像特征，以提高低分辨率人脸图像的人脸识别率。

主权项

1.一种面向识别的低分辨率人脸图像特征超分辨率重建方法，其特征在于，分为两个阶段：离线阶段和在线阶段；所述离线阶段包括，建立训练样本库、分辨率鲁棒特征提取、一致性空间转换、面向识别的P‑KPLS分段核偏最小二乘法回归模型训练和高分辨率人脸图像特征库的建立；所述在线阶段包括，人脸图像特征提取、一致性空间转换、预测高分辨率人脸图像特征、特征加权组合和识别；该方法具体包括以下步骤：(1)离线阶段I：第一步，建立训练样本库；对于N幅高分辨率人脸图像库I_Hi表示第i幅高分辨率人脸图像，进行人脸五官归一化，分别对齐眼睛，鼻子和嘴巴，再转换为灰度图；然后，通过K倍下采样获取每幅高分辨率人脸图像对应的低分辨率人脸图像，接着，通过双三次插值，使得低分辨率人脸图像与高分辨率人脸图像的尺寸相一致，此时获得了N对五官对齐的高、低分辨率人脸图像I_Hi表示第i幅高分辨率人脸图像，I_Li表示第i幅低分辨率人脸图像；第二步，分辨率鲁棒特征提取；在人脸五官对齐归一化之后提取人脸图像的特征，这里需要提取两种特征：即PCA主成分分析特征和LBPH局部二值化直方图特征；首先，通过如下公式(1)提取高分辨率人脸图像的PCA特征：XHi＝(C)T(IHi‑M)                    (1)其中，M表示训练数据中高分辨率人脸图像的均值，XHi表示第i幅高分辨率人脸图像的PCA系数，C表示高分辨率人脸图像数据的变换矩阵，(C)T表示转置矩阵，低分辨率人脸图像的PCA特征通过如下公式(2)求得：XLi＝(C)T(ILi‑M)    (2)X_Li表示第i幅低分辨率人脸图像的PCA系数；最后，得到高、低分辨率人脸图像的PCA特征通过统计前Q维的特征的识别率的方法，Q<α选取识别率最高的前Q维特征，其中，α表示PCA特征的维数；Q值选取具体操作方法如下：1)通过公式(1)(2)分别计算库中的每幅高、低分辨率人脸图像的PCA特征，对每对高、低分辨率人脸图像的PCA特征提取前W维特征，表示为XHi＝{xH1，xH2，...，xHW}，XLi＝{xL1，xL2，...，xLW}，采用最近邻分类器，用低分辨率人脸图像的PCA特征匹配高分辨率人脸图像的PCA特征，计算当选取图像的前W个特征时的识别率，W的初始取值为10，xH1，xH2，...，xHW表示高分辨率人脸图像的前W个PCA特征系数，xL1，xL2，...，xLW表示低分辨率人脸图像的前W个PCA特征系数；2)W＝W+1，重复1)，直到W＝α‑1；3)统计得到α‑10个识别率，选取识别率最高的对应的W作为Q；最后得到XHi＝{xH1，xH2，...，xHQ}，XLi＝{xL1，xL2，...，xLQ}，xH1，xH2，...，xHQ表示高分辨率人脸图像的前Q个PCA特征系数，xL1，xL2，...，xLQ表示低分辨率人脸图像的前Q个PCA特征系数；LBPH特征提取的具体方法为：首先，需要对一幅人脸图像平均分为m×n个图像块，对于每一图像块，采用模式提取LBPH特征，u₂表示统一模式，(8,2)表示近邻区域；LBP特征提取首先定义为在3×3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3×3邻域内的8个点经比较产生8位二进制数，再转换为十进制数，即得到该窗口中心像素点的LBP值；然后，计算出每个块的LBP特征图谱；接着对每个块的LBP特征图谱计算直方图，对该直方图进行归一化处理；最后，将得到的每个块的统计直方图进行连接成为一个特征向量，采用PCA对特征进行降维，用Z‑score进行归一化处理；分块的数量m×n，以及LBPH特征保留维数，通过统计前V维数特征识别率的方法，V<β，选取识别率最高的前V维特征以及m、n的值，β表示LBPH特征的维数；m、n值选取具体操作方法如下：1)分别对选取库中的每幅高、低分辨率人脸图像平均分为a×b块，计算每幅图像的LBPH特征，进一步，采用PCA降维，采用最近邻分类器，用低分辨率人脸图像的LBPH特征匹配高分辨率人脸图像的LBPH特征，计算分块数量为a×b时的识别率，a，b的初始取值为3，4；2)增加分块数量，a＝2*a，b＝2*b，重复1)，直到图像的宽度除以a的值小于10；3)统计得到多个识别率，选取识别率最高的对应的分块数量a，b作为m，n；V值选取具体操作方法如下：1)根据分块数量m，n分别计算库中的每幅高、低分辨率人脸图像的LBPH特征，并PCA降维，对每对高、低分辨率人脸图像的LBPH特征提取前G维特征，表示为YHi＝{yH1，yH2，...，yHG}，YLi＝{yL1，yL2，...，yLG}，采用最近邻分类器，用低分辨率人脸图像的LBPH特征匹配高分辨率人脸图像的LBPH特征，计算当选取图像的前G个特征时的识别率，G的初始取值为10，YH1，yH2，...，yHG表示高分辨率人脸图像的前G个LBPH特征系数，yL1，yL2，...，yLG表示低分辨率人脸图像的前G个LBPH特征系数，YHi表示第i幅高分辨率人脸图像的LBPH特征，YHi表示第i幅低分辨率人脸图像的LBPH特征；2)G＝G+1，重复1)，直到G＝β‑1；3)统计得到β‑10个识别率，选取识别率最高的对应的G作为V；最终，得到N幅高分辨率人脸图像的LBPH特征第三步，一致性空间转换；对于第二步提取出的两种特征，只对PCA特征进行处理，LBPH特征不处理；提取完PCA系数后，得到N对高、低分辨率人脸图像PCA特征对PCA特征进行CCA(Canonical Correlation Analysis，典型相关分析)，目的是减少高、低分辨率人脸图像PCA特征的差异，进一步提高模型的精确性，更有利于后续的特征回归模型的建立；对得到的N对高、低分辨率人脸图像PCA特征进行典型相关分析，对特征X_H＝{X_H1，X_H2，X_H3，...，X_HN}与X_L＝{X_L1，X_L2，X_L3，...，X_LN}，计算投影系数A_i＝(A_i1，A_i2，...，A_iN)与投影系数B_j＝(B_j1，B_j2，...，B_jN)，使得在约束条件变量A_iX_H和B_jX_L的相关性ρ(A_iX_H，B_jX_L)最大，这里，X_H表示N个高分辨率人脸图像的PCA特征的集合，X_H1，X_H2，X_H3，...，X_HN表示N个高分辨率人脸图像的PCA特征，X_L表示N个低分辨率人脸图像的PCA特征的集合，X_L1，X_L2，X_L3，...，X_LN表示N个低分辨率人脸图像的PCA特征，A_i1，A_i2，...，A_iN、B_j1，B_j2，...，B_jN分别表示为N个投影系数；约束条件如下(3)：其中，E(XH)、E(XL)分别表示XH，XL的均值，D(AiXH)、D(BjXL)分别表示AiXH，BjXL的方差；计算公式如下：其中，cov代表协方差，var代表方差；求解如下(4)所示约束优化，即max ρ(AiXH，BjXL)                      (4)其中，max代表求最大值；通过典型相关分析之后，得到N对高、低分辨率人脸图像的一致性特征F_Hi＝{f_H1，f_H2，...，f_HQ}，F_Li＝{f_L1，f_L2，...，f_LQ}，并得到高、低分辨率人脸图像CCA特征变换矩阵，此时高、低分辨率人脸图像的特征最相关，差异性最小，其中F_Hi表示第i幅高分辨率人脸图像的一致性特征，F_Li表示第i幅低分辨率人脸图像的一致性特征，f_H1，f_H2，...，f_HQ表示高分辨率人脸图像的Q个一致性特征系数，f_L1，f_L2，...，f_LQ表示低分辨率人脸图像的Q个一致性特征系数；第四步，面向识别的P‑KPLS回归模型训练；由第三步得到的高、低分辨率的人脸图像一致性特征对F_Hi＝{f_H1，f_H2，...，f_HQ}，F_Li＝{f_L1，f_L2，...，f_LQ}，作为训练模型的输入，进行模型训练；将一致性特征向量平均分为S个子向量，每个子向量的维数P＝Q/S，则高、低分辨率人脸图像的一致性特征表示为p_Hj＝{f_{H((j‑1)*p+1)}，f_{H((j‑1)*p+2)}，…，f_H(j*p)}，p_Lj＝{f_{L((j‑1)*p+1)}，f_{L((j‑1)*p+2)}，…，f_L(j*p)}；然后，对于每个特征子向量分别训练一个KPLS回归模型，因此得到S个KPLS模型，分段的数量S是通过统计训练样本分不同段数时得到的识别率决定的，选取识别率最高的分段数量作为S，在这里，p_Hj表示高分辨率人脸图像的第j段一致性特征子向量，p_H1，p_H2，...，p_HS表示高分辨率人脸图像的S段一致性特征子向量，f_{H((j‑1(*p+1)}，f_{H((j‑1)*p+2)}，…，f_H(j*p)表示高分辨率人脸图像的第j段一致性特征子向量的特征系数，p_Lj表示低分辨率人脸图像的第j段一致性特征子向量，p_L1，p_L2，...，p_Li表示低分辨率人脸图像的S段一致性特征子向量，f_{L((j‑1)*p+1)}，f_{L((j‑1)*p+2)}，…，f_L(j*p)表示低分辨率人脸图像的第j段一致性特征子向量的特征系数；训练得到高、低分辨率人脸图像特征的P‑KPLS回归模型；S值选取具体操作方法如下：1)对高、低分辨率的人脸图像一致性特征对将一致性特征向量平均分为U个子向量，每个子向量的维数P＝Q/U，则高、低分辨率人脸图像的一致性特征表示为然后，对于每个特征子向量分别训练一个KPLS回归模型，因此得到U个KPLS模型；提取训练的低分辨率人脸图像的一致性特征，并平均分为U段输入到模型中，将得到预测的高分辨率一致性特征，采用最近邻分类器，最后得到当前分段数为U时的识别率，U的初始取值为1，p_H1，p_H2，...，p_HU表示高分辨率人脸图像的U段一致性特征子向量，p_L1，p_L2，...，p_LU表示低分辨率人脸图像的U段一致性特征子向量；2)U＝U+1，重复1)，直到U＝Q；3)统计得到Q个识别率，选取识别率最高的对应的分段数U作为S；(2)离线阶段II建立高分辨率人脸图像测试特征库；对于第三步获得高分辨率人脸图像一致性特征F_Hi＝{f_H1，f_H2，...，f_HQ}，与提取的高分辨率人脸图像的LBPH特征的重要性应该不同，因此，引入参数ω组合这两个特征得到新的人脸特征Z′_Hi，公式如(5)所示：{Z′Hi}‑(ω·FHi，(1‑ω)·YHi)           (5)其中，0≤ω≤1，ω的取值大小根据训练库的识别率来计算；最后，得到作为高分辨率人脸图像特征库，用作匹配识别测试；ω值选取具体操作方法如下：1)输入低分辨率人脸图像序列，经过离线阶段I，获得预测的高分辨率一致性特征与低分辨率的LBPH特征，通过公式(5)组合两种特征获得新的特征，采用最近邻分类器，计算当前参数为d时的识别率，d的初始取值为0；2)d＝d+0.1，重复1)，直到d＝1；3)统计得到11个识别率，选取识别率最高时对应的d作为参数ω；(3)在线阶段：第一步，人脸图像特征提取；输入一幅低分辨率人脸图像，人脸五官对齐归一化之后，提取人脸图像的PCA特征X′L和LBPH特征Y′L；第二步，一致性空间转换；对于提取的低分辨率人脸图像的PCA特征X′L，通过CCA，获得一致性特征F′L；第三步，预测高分辨率人脸图像特征；对处理后的低分辨率的人脸图像的一致性特征F′L，作为P‑KPLS回归模型的输入，预测得到高分辨率人脸图像一致性特征F′H；第四步，特征加权组合；对于第三步获得高分辨率人脸图像一致性特征F′H，与输入的低分辨率人脸图像的LBPH特征Y′L相组合，获得新的人脸特征Z；第五步，人脸识别；将组合后的人脸图像新的特征Z，与高分辨率人脸图像特征库{Z′Hi}相匹配，获得最终结果，在这里采用的是基于欧式距离的最近邻分类器。