[发明专利]基于视频序列的人脸表情识别方法

说明书

技术领域

本发明的技术方案涉及用于识别图形的方法，具体地说是基于视频序列的人脸表情识别方法。

背景技术

表情是人类情感交流中最有效的方式，近几年来人脸表情识别系统在涉及视觉系统和模式识别的领域中都有重要的应用，如心理学研究、视频会议、情感计算、智能人机交互和医疗行业。随着人机交互技术全面地提升，研究如何让计算机系统更有能力地感知人类表情是目前人工智能的焦点，研究发展人脸表情识别系统具有重要意义。

早期的人脸表情识别方法集中于研究静态图像中的人脸表情，然而，静态图像存在的主要问题是忽略了时域信息。人脸表情作为一个动态的变化过程，其时域信息起着非常重要的作用。基于视频序列的人脸表情识别方法能更好地反映人脸表情本身的变化，从而提高人脸表情识别的精确性和鲁棒性。因此，研究基于视频序列的人脸表情识别具有重要的科研意义。

现有的基于视频序列的人脸表情识别方法有：加州大学的Bartlett等于1999年利用多尺度多方向的Gabor滤波器提取人脸图像特征，然后利用支持向量机(support vector machines，SVM)进行特征分类，从而识别出不同的人脸表情。但是Gabor特征具有计算复杂度大、维度高以及易受光照干扰的缺点；清华大学的王宇博等于2003年提取人脸图像的Haar-like特征，然后利用基于连续Adaboost的算法对人脸表情分类。Haar-like几何特征具有直观、维度低和描述能力强的一些优点，但该方法对边缘特征和线特征较为敏感，特征提取精度不高，另外，当图像或视频的背景环境复杂时，Adaboost分类器会产生较高的误识别。北卡罗来纳大学的Liao于2009年利用占优局部二值模式(Dominant LBP, DLBP)和Gabor方法结合提取特征，针对LBP算法进行了主要特征的挑选，使得运算更为快捷，且结合DLBP和Gabor方法提取特征后进行纹理分类得到了很好的效果，但该方法存在两个方面的缺点：一方面，LBP在图像纹理特征表达方面没有考虑到中心像素的影响；另一方面，该方法没有充分考虑到时域信息的作用，丢失了一部分信息而导致识别率不理想。针对LBP没有考虑到中心像素这一缺陷，近年来在LBP基础上提出的中心化二值模式(以下简称CBP)为这个问题的解决提供了思路，在此基础上又提出多尺度 CBP(简称MCBP)和嵌入图像欧式距离(IMED)的MCBP(简称MCBP-IMED)方法。LBP由于具有灰度不变性和旋转不变性的优点，因此在表情识别领域得到广泛的应用，但其缺陷是很难获得较大的空间支持区域，并且对光照方向和视角的变化不具鲁棒性，在纹理分类方面表现并不尽如人意。

发明内容

本发明所要解决的技术问题是：提供基于视频序列的人脸表情识别方法，是一种利用三维正交Haar-like中心二值模式(Haar-like Centralized Binary Patterns from Three Orthogonal Panels，以下简称HCBP-TOP)提取人脸表情序列的动态时空纹理特征的人脸表情识别方法，克服了现有技术没有考虑中心像素，忽视局部细节信息，人脸表情识别的效率和识别精度均较低，不具有普遍的适用性的缺陷。

本发明解决该技术问题所采用的技术方案是：基于视频序列的人脸表情识别方法，是一种利用HCBP-TOP算法提取人脸表情序列的动态时空纹理特征的人脸表情识别方法，具体步骤如下：

第一步，人脸表情序列图像预处理：

(1)人脸表情序列图像裁剪：

将从已有人脸表情视频序列数据库读取到的人脸表情序列图像由RBG空间转化到灰度空间，采用的公式(1)如下：

Gray＝0.299R+0.587G+0.114B (1)，

其中，Gray为灰度值，范围一般从0到255，R为红色分量，G为绿色分量，B为蓝色分量，

根据人脸面部“三庭五眼”的特征和人脸的几何模型，对转化到灰度空间的人脸表情序列图像进行裁剪，设双眼之间的水平距离为d，以两眼连线的中点为基准点，向上距离基准点0.55d处定为上边界，向下距离基准点1.45d处定为下边界，向左距离0.9d处定为左边界，向右距离0.9d处定为右边界，由此完成人脸表情序列图像裁剪；

(2)人脸表情序列图像缩放：

对上述(1)裁剪后的人脸表情序列采用双三次插值算法改变图像的尺度，实现尺度归一化，以进行人脸表情序列图像缩放，经过人脸表情序列缩放后的人脸图像大小为64× 64像素；

(3)人脸表情序列图像灰度均衡化：