[发明专利]基于特征点矢量与纹理形变能量参数的人脸表情识别方法

说明书

（一）技术领域

本发明涉及一种人脸表情识别方法，尤其是基于特征点与特征块的人脸表情特征提取方法，属于人脸表情识别领域。

（二）背景技术

情感识别一直是人机交互领域中一个重要的研究方向。为了建立友好和谐的人机交互模式，大量研究者从语音，面部表情，文本等方面入手，期望以单模或者多模融合的方法实现更好的人机交互效果。其中，面部表情识别是情感识别的一个重要研究方向，近些年也有大量优秀的研究成果涌现，这无疑有力地推动了人机交互研究的快速发展。感谢图像处理，模式识别等领域专家们的不懈努力，在计算机软硬件技术飞速发展的大前提下，基于面部表情的自动化情感识别在最近些年已经取得了显著的成果。Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕这6种基本表情，并在1978年开发了面部动作编码系统。然而，真正意义上的依靠计算机的自动化人脸表情识别始于上世纪九十年代，许多基于Ekman和Friesen所提理论的研究成果相继出现。当然，也有一些研究者提出6种情感以外的情感模式，这极大的丰富了人脸情感识别研究的内容。为了识别这6种基本情感，研究者们所提出的研究方向大致分为两个主要的分支：一个是基于外观的方法，另一个就是基于特征的方法。目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别；频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。具体的表情识别方法主要有三个：一是整体识别法和局部识别法，二是形变提取法和运动提取法，三是几何特征法和容貌特征法。当然，这三个发展方向不是严格独立的，恰恰相反，是相互联系，相互影响的，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路。在此，本发明着重于基于纹理与基于特征两方面进行说明。

目前在人脸表情识别领域，结合人脸结构特征与纹理信息，并且考虑个体差异对人脸表情识别结果的影响，这样的方法还比较少，这在一定程度上制约了人脸表情识别研究的进一步发展。结合特征点矢量和纹理形变能量参数的人脸表情识别方法能够很好的解决这一问题。因此，提出这样一种有效的人脸表情识别方法具有很强的现实意义。

（三）发明内容

本发明创新性地给出了特征点矢量与纹理形变能量参数的概念，提出一种基于两者结合的人脸表情识别方法。

本发明的主要内容为：对人脸表情样本进行特征点定位，根据选取的特征点计算特征点矢量与纹理形变能量参数，然后通过RBF神经网络训练学习，完成七种人脸表情（高兴、悲伤、惊讶、生气、嫌恶、害怕、中性）识别。

该方法的具体步骤如下：

步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位。

步骤2：将选取的特征点构成特征点矢量。矢量有大小和方向，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比k_d，去掉冗余部分k_l，得到k_d-final。同理可以得到k_α-final。

步骤3：根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数k_s-final。

步骤4：将最终的特征输入，即：k_final=k_d-final+k_a-final+k_s-final作为RBF神经网络的训练数据，最终实现人脸表情识别。

本发明提供的人脸表情识别方法，其优点和积极效果在于：

1该方法基于人脸结构特征与纹理信息相结合的角度进行人脸表情识别。

2该方法考虑不同个体之间的差异，解决了个性信息，光照，小范围头部姿势等因素对人脸表情识别的影响。

（四）附图说明

图1人脸表情识别系统框图

图2特征点定位图

图3纹理形变能量参数获取图

图4RBF神经网络结构图

（五）具体实施方式