[发明专利]双模人脸识别方法及装置

权利要求书

1.一种双模人脸识别方法，包括如下过程：

(1)在人脸图像样本集中，从每个人的所有图像中随机选取半数图像M个作为训练样本集{P_i}，i＝1，2，…，M，用人脸图像样本集中剩余的图像N个构成测试样本集{T_j}，j＝1，2，…，N；

(2)根据训练样本集中的图像利用主成分分析方法建立特征脸子空间；

(3)将训练样本集中的图像投影到特征脸子空间，建立训练样本纹理模型；

(4)从训练样本集中选取少数图像，通过手动标记其特征点，根据这些特征点集建立主动表观模型，并利用该模型自动搜索剩余训练图像中的特征点，构建训练样本形状模型；

(5)将测试样本集中的图像投影到步骤(2)建立的特征脸子空间中，得到对应于每幅测试图像的纹理模型；

(6)利用2-范数计算第j个测试样本纹理模型与第i个训练样本纹理模型之间的距离，记为 i＝1，2，…，M，j＝1，2，…，N；

(7)根据步骤(4)中建立的主动表观模型，提取测试样本集中的图像特征点，建立测试样本形状模型；

(8)利用图编辑距离计算第j个测试样本形状模型与第i个训练样本形状模型之间的距离，记为 其中，i＝1，2，…，M，j＝1，2，…，N；

(9)将步骤(6)中获得的测试图像与训练图像的纹理模型之间的距离和步骤(8)中获得的测试图像与训练图像的形状模型之间的距离进行加权融合，即 其中权值w₁和w₂根据经验取值，j＝1，2，…，N，i＝1，2，…，M；

(10)利用最近邻分类器确定第j个测试样本的身份信息U，其中j＝1，2，…，N，即

2.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(2)所述的“建立特征脸子空间”，按如下过程进行： 

2a).将训练样本集中的每幅图像拉成一个列向量，所有图像的向量排成一个矩阵；

2b).根据上步中得到的图像矩阵，计算训练图像集的协方差矩阵，并对协方差矩阵进行特征值分解获得特征向量，保留对应于若干个最大特征值的特征向量，这些特征向量张成了特征脸子空间。

3.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(4)所述的“构建训练样本形状模型”，按如下过程进行：

3a).从训练样本集中选取每个人的少数图像，并为选取的图像通过手动标记其特征点，构成手动标记的特征点集合s_n＝{(x_i，y_i)}，其中，x_i和y_i分别为特征点的横纵坐标，i＝1，2，…，Z，n＝1，2，…，L，L为选取的图像个数，Z为每幅图像上的特征点个数；

3b).根据手动标记的特征点集合s_n＝{(x_i，y_i)}为训练样本集中的每个人构建一个主动表观模型，并利用该模型为训练样本集中的剩余图像自动标记特征点；

3c).根据3a)步中手动标记的特征点或3b)步中利用主动表观模型自动标记的特征点构建训练样本集中每幅图像的Delaunay三角剖分图，该图即为对于该图像的形状模型。

4.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(7)所述的提取测试样本集中的图像的特征点，建立其形状模型，按如下过程进行：

4a).根据第(4)步中构建的主动表观模型，为测试样本集中的图像自动标记特征点；

4b).利用Delaunay三角剖分对自动标记的特征点进行连接，获得测试图像的形状模型。

5.根据权利要求1所述的双模人脸识别方法，其特征在于步骤(8)所述的“图编辑距离”包括基于隐马尔可夫模型的图编辑距离和基于边缘方向直方图的图编辑距离，在基于隐马尔可夫模型的图编辑距离中，为第j个测试样本和第i个训练样本的形状模型分别建立隐马尔可夫模型，计算两个隐马尔可夫模型之间的Kullback-Leibler距离，记为HMM_GED；在基于边缘方向直方图的图编辑距离中分别计算这两个形状模型的边缘方向直方图，并求出两个边缘方向直方图之间的Earth Mover′s Distance，记为EDH_GED。