[发明专利]一种基于稀疏融合的单演多特征的人脸表情识别方法

摘要

本发明公开了一种基于单演多特征的稀疏融合的人脸表情识别方法，包括如下步骤：1、对预处理后的表情图像进行单演滤波处理，获得三个尺度上的单演幅值信息、单演方向信息、单演相位信息、横向变换信息和纵向变换信息；2、利用五种单演信息对人脸表情图像提取单演二值模式直方图特征、单演方向直方图特征和单演相位直方图特征，三种特征分别构造相应的稀疏字典；3、利用l₁正则化最小二乘法优化三个稀疏字典的权值，通过加权融合来实现人脸表情识别。本发明能充分提取人脸表情图像的纹理、形状和方向特征，提高表情识别率。

主权项

1.一种基于单演多特征的稀疏融合的人脸表情识别方法，其特征是按如下步骤进行：步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理；利用Haar‑like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位，并对定位后的人脸区域进行归一化处理和直方图均衡化处理，获得人脸表情图像；将所有图像均进行预处理，从而获得人脸表情图像集；以所述人脸表情图像集作为样本集，选取部分样本作为训练集，剩余部分作为测试集；步骤2、将所述样本集中任意一人脸表情图像进行均匀分块，每一子块称为相应人脸表情图像的子图像；步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值A_i(z)，单演相位值P_i(z)，单演方向值T_i(z)，横向变换值纵向变换值步骤4、提取所述人脸表情图像的单演多特征；步骤4.1、提取所述人脸表情图像的HMBP特征；步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z，利用ULBP特征提取方法提取所述像素点z的单演幅值Ai(z)的纹理信息，从而获得6位二进制数Bi(z)；步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数步骤4.1.4、利用式(3)将提取的和B_i(z)串联起来，从而获得所述像素点z在第i个尺度上的MBP值，记为MBP_i(z)：步骤4.1.5、将所述像素点z所在的子图像上的所有像素点均按照步骤4.1.1‑步骤4.1.4进行处理，从而获得所述像素点z所在的子图像上所有像素点第i个尺度上的MBP值，并进行直方图统计，从而获得所述像素点z所在的子图像在第i个尺度上的HMBPi特征向量；进而获得所述像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBPi特征向量；步骤4.1.6、将相应人脸表情图像上所有子图像在第i个尺度上的HMBPi特征向量按照由左到右、由上到下的顺序进行级联，从而获得相应人脸表情图像在第i个尺度上的HMBPi特征向量；步骤4.1.7、利用式(4)获得所述人脸表情图像的HMBP特征向量：HMBP＝(HMBP1,HMBP2,HMBP3)         (4)步骤4.2、提取所述人脸表情图像的HMOG特征向量；步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上；步骤4.2.2、利用式(5)计算所述子图像在第i个尺度上的第bin个方向的MOGi,bin值，bin∈{1,2,……，9}：步骤4.2.3、利用式(6)获得所述子图像的HMOGi特征向量：HMOGi＝(MOGi,1,MOGi,2,…,MOGi,9)         (6)步骤4.2.4、重复步骤4.2.1‑步骤4.2.3，获得所述人脸表情图像的所有子图像在第i个尺度上的HMOGi特征，并将所有子图像在第i个尺度上的HMOGi特征按照由左到右、由上到下的顺序进行级联，从而获得所述人脸表情图像在第i个尺度上的HMOGi特征；步骤4.2.5、利用式(7)获得所述人脸表情图像的HMOG特征向量：HMOG＝(HMOG1,HMOG2,HMOG3)           (7)步骤4.3、提取所述人脸表情图像的HEMP特征向量；步骤4.3.1、利用式(8)对所述像素点z在第i个尺度上的幅值Ai(z)进行二值化操作，获得所述像素点z的掩膜值Mi(z)：式(8)中，θ为所设定的阈值；步骤4.3.2、将所述像素点z的单演相位值pi(z)与掩膜值Mi(z)进行掩膜运算，获得所述像素点z修正后的单演相位值pi′(z)；将所述像素点z的单演幅值Ai(z)与掩膜值Mi(z)进行掩膜运算，获得所述像素点修正后的单演幅值Ai′(z)；步骤4.3.3、将所述像素点z修正后的单演相位值pi′(z)与修正后的单演幅值Ai′(z)作差，从而获得所述像素点z的增强的单演相位值pi″(z)；步骤4.3.4、将所述像素点z所在的子图像上所有像素点按照步骤4.3.1‑步骤4.3.3处理，获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值，并利用直方图进行统计，从而获得相应子图像在第i个尺度上的HEMPi特征向量；步骤4.3.5、重复步骤4.3.4，从而获得相应人脸表情图像上所有子图像在第i个尺度上的HEMPi特征向量，并按照由左到右、由上到下的顺序进行级联，从而获得所述人脸表情图像在第i个尺度上的HEMPi特征向量；步骤4.3.6、利用式(9)获得所述人脸表情图像的HEMP特征向量：HEMP＝(HEMP1,HEMP2,HEMP3)              (9)步骤5、构造稀疏字典步骤5.1、将所述训练集中所有人脸表情图像均按照步骤2‑步骤4进行处理，从而获得所述训练集中所有人脸表情图像的HMBP特征向量、HMOG特征向量、HEMP特征向量；训练集中所有人脸表情图像的HMBP特征向量并联构成HMBP稀疏字典；训练集中所有人脸表情图像的HMOG特征向量并联构成HMOG稀疏字典；训练集中所有人脸表情图像的HEMP特征向量并联构成HEMP稀疏字典；步骤6、获得三个稀疏字典的权值；步骤6.1、获得稀疏字典的学习矩阵；步骤6.1.1、对于所述训练集得到的稀疏字典记为G^u，其中u＝{HMBP,HMOG,HEMP}，稀疏字典G^u中包含C类表情标签，假设第j类表情标签有n_j个样本，则训练集共有N个训练样本，即第j类表情标签的稀疏子字典可表示为：式(10)中，表示第j类表情标签的第k个样本所对应的u特征向量；k＝1,2,…，n_j；则所述训练集的稀疏字典G^u表示为：步骤6.1.2、利用式(12)将第j类表情标签的第k个样本所对应的u特征向量线性表示为:式(12)中，为的稀疏表示系数，并且利用l₁范式求取的最优稀疏系数步骤6.1.3、利用稀疏系数累积函数判断在稀疏字典G^u上所属的类别，并且将在稀疏字典G^u上的所属的类别的学习情况置为1，其余类别的学习情况置为0；步骤6.1.4、将所述训练集中所有人脸表情图像的特征向量均按照步骤6.1.1和步骤6.1.2处理，从而获得所述训练集中所有人脸表情图像在稀疏字典G^u上的学习情况，从而获得稀疏字典G^u的学习矩阵表示将第m个样本识别为第j类表情标签的学习情况；m＝1,2,…,N；步骤6.2、利用式(13)求出稀疏字典Gu的准确率向量Accu：式(13)中，Class(m)表示所述训练集中第m个样本的表情标签；步骤6.3、利用步骤6.2获得三个稀疏字典的准确率向量AccHMBP，AccHMOG和AccHEMP，将三个稀疏字典的准确率向量并联得到决策矩阵Acc；步骤6.4、利用l1正则化最小二乘法对所述决策矩阵Acc进行优化学习，获得三个稀疏字典的权值wHMBP，wHMOG，wHEMP；步骤7、利用单演多特征的稀疏融合的人脸表情识别方法进行人脸表情分类；步骤7.1、选取所述测试集中的任意一幅人脸表情图像作为测试图像；步骤7.2、对所述测试图像按照步骤2‑步骤4进行处理，获得所述测试图像的HMBP特征向量、HMOG特征向量和HEMP特征向量；步骤7.3、利用HMBP稀疏字典线性表示所述HMBP特征向量、利用HMOG稀疏字典线性表示所述HMOG特征向量、利用HEMP稀疏字典线性表示所述HEMP特征向量；采用l₁范式求取所述测试图像的三种特征向量的稀疏表达系数，从而获得所述测试图像分别在HMBP，HMOG和HEMP稀疏字典上的最优稀疏系数步骤7.4、利用式(14)计算所述测试图像在三个稀疏字典上的最终加权融合系数步骤7.5、利用稀疏系数累计函数对所述最终加权融合系数进行计算，所获得的计算结果作为所述测试图像的预测表情类别。