[发明专利]一种鲁棒的人脸表情识别方法

说明书

(一)技术领域

本发明涉及一种模式识别方法，尤其是涉及一种鲁棒的人脸表情识别方法。属于人脸表情信息提取和识别领域。

(二)背景技术

人脸表情识别一般分为脸部动作的识别和情感的识别。例如，部分研究者从人脸表情中识别基于面部动作编码系统的单一和混合动作单元而进行的。而大多数研究者从人脸表情中识别人的高兴、惊讶、悲伤、害怕等情感。由于人脸表情变化是非刚体运动，且受到个体差异、视角变化、光照等影响，人脸表情识别是一顶艰巨的任务，目前很少有能够应用于实际环境的人脸表情识别系统。

以往的人脸表情识别往往局限于受控条件，例如背景单一、光照一致、无头部运动等，因此，受控条件下的人脸表情识别可以达到较高的识别率。但很少有研究者对非受控条件下的鲁棒人脸表情识别进行研究。21世纪以来，少数研究者开始研究对遮挡、光照、姿势、图像分辨率等具有鲁棒性的人脸表情识别方法。其中，对于遮挡具有鲁棒性的人脸表情识别方法主要有采用局部特征的方法、局部空间几何面部模型和基于状态的面部运动模型的方法、以及基于Gabor小波特征提取的方法等，但很少有研究者对人脸去除遮挡后进行鲁棒的表情识别。针对人脸部有遮挡情况下鲁棒识别方法较少和未去除遮挡物的不足，本发明提出一种新的鲁棒人脸表情识别方法。

(三)发明内容

本发明的目的是：针对现有人脸表情识别方法对脸部有遮挡的情况不具备鲁棒性的不足，提出一种鲁棒的人脸表情识别方法，它能使人脸在有遮挡的情况下获得较高的表情识别效果。

本发明一种鲁棒的人脸表情识别方法，通过鲁棒主成分分析对人脸图像进行重构，并对原始人脸图像与重构后的人脸图像的差值图像进行显著性分析，检测出遮挡区域，然后根据对遮挡区域的图像进行重构以去除遮挡，最后对去除遮挡后的人脸图像进行表情分类，获得表情识别结果。

本发明一种鲁棒的人脸表情识别方法，其步骤如下：

步骤1：将N个不含遮挡的L类人脸表情图像归一化为数据矩阵C_i∈R^m×n(i＝1…M)，作为训练样本，采用沙皮尔(Schapire)等人提出的多分类AdaBoost方法训练人脸表情分类器。

步骤2：将M个包括含遮挡和不含遮挡的L类人脸表情图像归一化为数据矩阵A_i∈R^m×n(i＝1…M)，作为训练样本。令s＝m×n，将A_i展开为一维列数据向量d_i∈R^s×1(i＝1…M)，构成输入矩阵D＝[d₁d₂…d_M]∈R^s×M，采用费南多(Fernando)提出的鲁棒主成分分析(Robust Principle Component Analysis，RPCA)方法，得到鲁棒均值向量μ∈R^s×1和鲁棒本征向量B∈R^s×k，k＜M。

步骤3：将待识别的人脸表情图像归一化数据矩阵P∈R^m×n。

步骤4：将P展开为一维列数据向量d∈R^s×1，如式(1)计算向量d的重构向量d_rec∈R^s×1，并将其变形为数据矩阵P′∈R^m×n。

d_rec＝μ+BB^T(d-μ)                 式(1)

步骤5：计算重构后的人脸图像矩阵P′与将待识别表情的人脸图像矩阵P的差值图像矩阵E∈R^m×n，如式(2)所示。

E＝|P′-P|                         式(2)

步骤6：设扫描窗口Q高为h(1≤h＜m)，宽为w(1≤w＜n)，窗口的左上角坐标为(x1，y1)(0≤x1＜n，0≤y1＜m)，对h、w、x1、y1进行遍历，并满足约束条件如式(3)所示。对差值图像的扫描窗口Q进行显著性检测(如式(4)所示)，得到显著值H_E，Q。

0≤x1+w≤n  且0≤y1+h≤m    且2*w*h＜m*n    式(3)