[发明专利]基于法向量分布直方图和协方差描述子的人脸识别方法

摘要

本发明公开了一种基于法向量分布直方图和协方差描述子的人脸识别方法，包括：对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；构造多尺度空间；利用多尺度形状变化指数进行关键点检测；构造三维法向量分布直方图，先对关键点的三维坐标进行编码，再构造法向量分布直方图；进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选，构造协方差矩阵描述子；进行协方差矩阵描述子匹配。本发明利用人脸的几何特征和局部描述子进行三维人脸识别，减少表情变化对三维人脸识别的影响，提高表情变化条件下三维人脸识别的准确率和效率。

主权项

1.基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，包括以下步骤：步骤1:对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；步骤2:构造多尺度空间利用高斯滤波，构造出三维人脸的不同尺度空间：其中M是由原始人脸生成的三维网格，是尺度为σ_s的高斯滤波，σ_s定义如下：其中是三维网格的平均边长，s,k和σ₀是算法中的参数；步骤3:利用多尺度形状变化指数进行关键点检测对在不同尺度的每一张人脸，首先在XOY平面上进行均匀采样，得到一组采样点；再将采样点p以及与p距离在r以内的邻域点视为一个点集P_s；最后对点集进行霍特林变换，将点集转化成局部对齐的点集此时形状变化指数θ由下式计算得出：θ反映了点p所处的局部表面的几何变化情况；在人脸的四个尺度空间中分别进行关键点检测：将形状变化指数大于设定阈值ε的采样点定义为关键点，并将不同尺度空间中的关键点检测结果的并集定义为最终的关键点；步骤4:进行构造三维法向量分布直方图的第一步，对关键点的三维坐标进行编码通过计算关键点p的邻域点集的修正协方差矩阵构造一个局部参考系，再将p转化到此参考系中，得到新的三维坐标，修正协方差矩阵C计算公式如下：其中d_m＝||p_m‑p||₂，p_m是p的邻域点，r是划分邻域点的半径；局部参考系通过计算C的特征向量获得：对C进行特征值分解得到特征值λ₁,λ₂以及λ₃以及对应的特征向量e₁,e₂和e₃，将e₁,e₂和e₁×e₂分别作为局部坐标系的x轴、y轴和z轴；根据构造的局部参考坐标系，点p被转化到新的三维空间中成为p_rf：[p_rf]_3×1＝[RF]_3×3[p]_3×1；步骤5:进行构造三维法向量分布直方图的第二步，构造法向量分布直方图首先计算出所有点的法向量，并以指定半径获得关键点p的邻域点集P_s；再将点集中的所有点对应的法向量在x轴上坐标的最小值与最大值作为直方图的范围，并划分成K个相等的间隔，通过计算点集中点的x轴坐标值在各个间隔的分布得到K维的法向量分布直方图；分别对点集中的点对应的法向量在y轴和z轴上进行同样的操作，最后得到的三个法向量分布直方图连接即得到3K维的直方图；步骤6:进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选通过计算法向量分布直方图之间的卡方距离得到测试人脸上每一个关键点在库集人脸上的候选匹配点；再计算关键点与候选匹配点在新的三维空间下的欧氏距离，如果距离小于设定的阈值T_d即认定为成功匹配；最后用成功匹配的关键点对个数衡量两张人脸的相似度并用于对库集人脸的筛选；步骤7：构造协方差矩阵描述子协方差矩阵描述子能够融合不同类型的特征对局部表面进行描述，选择曲率、形状指数、Willmore energy、法向量夹角、局部平面距离以及欧氏距离6个特征进行构造：曲率衡量了点p的局部表面的偏离程度，计算公式为：其中k_max(p)和k_min(p)分别是p的最大主曲率和最小主曲率；形状指数描述了人脸的局部信息，计算公式为：Willmore energy衡量了局部表面偏离球体的程度，计算公式为：法向量夹角计算公式为：其中为点p处的法向量，为点p邻域点处的法向量。局部平面距离反映了局部表面的凹凸程度，计算公式为：其中是由p指向p的邻域点集的重心的向量。点p到鼻尖点的欧氏距离被定义为另一个特征D(p)；以指定半径获取点p的邻域点，计算点p与所有邻域点的各类特征，得到特征向量如下：其中是关键点p_i生成点集中第j个点，协方差矩阵描述子X_i计算公式如下：其中N是邻域点的个数，X_i的对角线上的元素表示每个特征向量的方差，非对角线上的元素代表了不同元素之间的相关性；步骤8:进行协方差矩阵描述子匹配不同协方差矩阵通过计算在黎曼空间中的距离来匹配，通过计算对数行列式距离进行协方差矩阵的匹配：假设是所有d×d对称正定矩阵形成的空间，X和Y是空间M中的两个协方差矩阵，则这两个矩阵的距离可用以下的公式进行计算：采用最近邻距离比法对协方差矩阵进行匹配，假设和分别是测试人脸和库集人脸的协方差矩阵描述子集，针对测试人脸中的一个协方差矩阵首先计算库集人脸所有的协方差矩阵与此矩阵的对数行列式距离，得到与距离最近的协方差矩阵和第二近的矩阵再计算最近邻距离比例r_dis：如果r_dis比设定的阈值τ小，则认为是成功匹配的一对协方差矩阵，与测试人脸上关键点成功匹配对数最多的库集人脸被认定是测试人脸的识别结果。