[发明专利]一种三维矫正和加权相似性度量学习的无约束人脸验证方法

权利要求书

1.一种三维矫正和加权相似性度量学习的无约束人脸验证方法，包括以下步骤：

1)将VJ算法与Dlib特征检测算法相结合，对多人脸图像进行目标人脸特征点检测；

2)利用Dlib检测出的人脸特征点进行三维人脸矫正，并对矫正后的人脸进行裁剪；

3)对矫正后的人脸进行特征提取(Gabor)并降维(PCA)，并对处理后的人脸特征进行加权相似性度量学习，得到最终的验证结果。

2.具体地，所述将VJ算法与Dlib特征检测算法相结合进行目标人脸特征点检测是，无约束图像中有可能会出现出目标任务以外的其他人脸，为了对正确的目标人脸进行矫正，需要进行目标人脸的选择。通常情况下，作为拍摄者目标人物的人脸在图像中应该占据着比较大的空间，因此在一张图像有多张人脸的情况下，目标人物的人脸相对于照片中其他人脸来说占的空间应该更大。本文采用的Dlib算法所定位的人脸框并没有考虑到人脸图像中的人脸大小问题，不适合进行目标人脸的筛选工作，因此用Dlib检测并保留图像中出现的所有人脸的特征点，再利用VJ算法进行人脸定位，该算法会给出图像中人脸的具体位置(人脸框)，计算人脸框大小并进行排序，选择对应人脸框的面积最大的人脸作为该图像的目标人脸，并保留该目标人脸所检测出的特征点。

3.具体地，所述三维人脸矫正方法是，利用一个单一、不变的3D人脸模型，先用相机投影矩阵的原理生成该3D人脸的2D正面人脸图像(参考图像)，并在生成参考图像时保存3D模型与2D图像之间的各点之间的对应关系。用Dlib算法检测该参考图像以及输入图像的的人脸特征点，由两张图像的人脸特征点以及3D模型作为中介，可以找到输入图像与3D模型及其2D参考图像各点之间的对应关系。利用该对应关系，将输入的人脸图像中的人脸区域投影到由3D人脸模型生成的标准坐标系(即参考图像)中后，再利用像素采样生成一个矫正后的正面人脸图像。

4.具体地，所述裁剪矫正后的人脸图像的人脸相关区域是，无约束图像中复杂的背景问题会影响验证准确率，在矫正之后，所有图像的人脸都会出现在图像的中心区域，利用这一特性，可以进行人脸相关区域的裁剪，以去除复杂的图像背景。

5.具体地，所述加权相似性度量学习的方法是，在完成特征提取(Gabor)以及降维(PCA)之后，将样本分为训练样本与测试样本，利用训练样本学习出最佳的相似矩阵G、距离矩阵M以及分类阈值σ。由相似矩阵G与距离矩阵M，可以计算出相似矩阵G与距离矩阵M的权重值。根据权重值将两者加权结合在即可得到两张测试图像的相似性分数，当相似性分数大于等于阈值σ时，判断两张图像相似(是同一个人)，否则判断为不相似。