[发明专利]基于MB‑2DPCA特征的人脸表情识别方法

说明书

技术领域

本发明涉及图像处理技术，尤其是涉及一种基于局部与全局特征结合的人脸表情识别方法。

背景技术

表情是人类表达内在情绪的一种非语言的交流方式。人们通过表情不仅可以准确地表达内心的真实感受，也可以通过判断表情的变化来理解对方的情感和思想状态，这种非语言的交流方式已普遍运用在人际交往中。在实际生活中，人脸表情分析技术应用在许多领域，其中包括远程教学，司机疲劳驾驶，病人远程护理，疼痛评估，视频游戏人机互动等。正因为表情分析的重要性和潜在的应用价值，在计算机视觉和机器学习的研究领域中，人脸表情识别一直是计算机视觉科学领域研究的重点。

人脸表情特征提取是人脸表情识别过程中一个重要的技术环节，特征提取的有效性对后续的分类有直接的影响。局部特征提取主要针对人脸表情感兴趣区域(如嘴巴，眼睛，眉毛，脸颊等)进行表情变化的纹理特征提取，局部特征提取方法有Gabor小波，LBP算子，HOG算子等。全局特征提取方法大多采用子空间投影的方法，即在表情特征空间里用PCA，LDA，ICA等子空间投影算法，将原始高维数据通过某种变换投影到低维子空间中，以不同的低维数据表现形式将原始空间数据表示出来。

由于局部特征提取的方法如Gabor小波，特征提取后数据维数高，容易造成维数灾难。传统LBP算子属于局部区域像素单阈值操作，缺乏对表情图像产生纹理形变时像素粗粒度的整体把握，提取特征中包含较多的冗余特征信息。子空间投影的方法通常是将图像矩阵转化成图像向量，产生高维数据，模式特征子空间的维数远远超过各类训练样本的数量，从而造成高维小样本问题。

近年来，人脸表情识别技术已经有了较好的发展，局部与全局相结合的特征提取方法不仅能反映表情图像纹理的微观结构，也可以对图像进行整体运算，保持了图像的全局结构特征。既保留了有效的表情鉴别信息，又在一定程度上对数据进行降维，提高计算效率，这种新兴数据处理技术逐渐得到了很多关注。

发明内容

本发明所要解决的技术问题在于有效的提取表情特征信息，提取的特征具有较强的表情特征具有鉴别性和区分性，特征图像从整体上最大程度的保留表情特征信息，在一定程度上降低了特征维数，计算速度快，提高人脸表情分类效率。

本发明具体采用以下技术方案，基于MB-2DPCA特征的人脸表情识别方法，其特征在于，该方法包括以下步骤：

A)输入图像样本,并对所述图像样本进行几何校正和尺寸归一化的预处理；

B)用多尺度参数(Scale)的MB-LBP(Multi-Block Local Binary Pattern)算子对人脸表情图像进行局部纹理特征提取，获得所述多尺度参数下的图像MB-LBP特征；

C)根据所述多尺度参数下的MB-LBP特征对表情识别率的影响，选出在表情识别率最高情况下的MB-LBP尺度参数，并用所述尺度参数的MB-LBP算子对表情特征进行特征提取，构成图像的MB-LBP特征空间；

D)在所述MB-LBP特征空间里，随机提取训练样本，随机提取之后的剩余样本作为测试样本；

E)在所述训练样本中用2DPCA算法计算其投影矩阵W，并将所有训练样本通过投影矩阵W映射到子空间，获得表情图像在所述子空间的特征表示；

F)将所述测试样本通过投影矩阵W投影到所述子空间，用稀疏表示分类器对测试样本的特征进行分类，获得测试样本所属的类别。

进一步，所述局部纹理特征提取是在把握图像像素粗粒度的基础上，通过多尺度参数下的MB-LBP算子提取像素颗粒程度不同的图像纹理以获得表情纹理信息，具体步骤如下：

1)对图像样本进行尺寸归一化；

2)通过设置所述多尺度参数，获得MB-LBP表情纹理特征；

3)将上述MB-LBP表情纹理特征通过稀疏表示分类，选出表情识别率最高的尺度参数。

进一步，所述表情识别率为在六类表情中，每个表情的识别率求和后再进行平均后的识别率。

进一步，所述六类表情分别为：生气、厌恶、害怕、高兴、悲伤或惊奇。

进一步，所述多尺度参数的设置范围分别为：3×3、5×5、7×7、9×9、11×11和13×13。

进一步，所述多尺度参数的设置范围里，多尺度参数分别为：3×3、5×5、7×7、9×9、11×11和13×13，且对应的表情识别率分别为：75.3％、79.3％、72.0％、61.7％、53.3％和44.1％。

进一步，在表情识别率为79.3％时的MB-LBP算子参数为：5×5。