[发明专利]一种基于层次TDP模型的人脸检测、分割和表情识别方法

说明书

本发明公开了一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，首先对原始图像进行预处理，提取SIFT特征以及对应的位置信息，再采用一种有效的迁移狄利克雷过程将这两种特征组合得到的具有几何约束的特征向量输入到TDP模型，得到第一层的结果——人脸与非人脸。分割完成的人脸作为第二层的输入，经过相同的过程得到子区域的分割结果。最终将子区域作为第三层——人脸表情识别层的输入，经过同样的特征提取与组合，得到人脸图像的表情识别结果。本发明解决了传统多姿态表情识别中需要为每种姿态分别建立模型，以及由于姿态等因素造成模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。

技术领域

本发明属于情感识别领域，具体涉及一种基于层次TDP模型的自然环境下人脸检测、分割和表情识别的方法。

背景技术

心理学家J.A.Russell提出，在人们日常的交流中，只有7％的信息是通过语言来传递的，而55％的信息则是通过面部表情来传递的。由此可见面部表情是一种非常重要的信息传递方式，它是人类行为的一种丰富的信息源，可以传达很多语言所不能传达的信息。近年来，随着一些应用的不断完善，促进了人脸表情识别技术的发展。

在A.S.Willsky等人，题为“Describing Visual Scenes Using TransformedObjects and Parts”的论文中，利用迁移狄利克雷过程TDP学到一个复杂场景中某一区域所属的类别，该方法通过组合几何特征和纹理特征来提高识别率，但只能应用于特定角度的情景图像，而不适用于多角度的自然人脸图像。除此之外，在P.Liu等人，题为“FacialExpression Recognition via a Boosted Deep Belief Network”的论文中，把传统学习中独立的特征提取，特征选择以及人脸表情识别过程在一个统一的级联的深度神经网络中完成，该方法通过利用上下文的语义信息来提高人脸表情的识别率，但特征提取仍然是基于一张完整的人脸，经过特征选择来选取对人脸表情识别贡献最大的特征，但由于特征选择方法的局限无法保证选出的特征是否是最能满足人脸表情识别的特征。目前还未出现一种统一的模型可以高效准确的识别自然环境下的情感。

发明内容

本发明的目的在于提供一种基于层次TDP模型的自然环境下人脸检测、分割和表情识别方法，使得训练得到的模型不受姿态，光照等因素的干扰，高准确率地识别各种姿态下的人脸表情图片的表情状态。

为了解决以上问题，本发明首先对原始图像进行预处理，提取SIFT特征以及对应的位置信息，再采用一种有效的迁移狄利克雷过程将这两种特征组合得到的具有几何约束的特征向量输入到TDP模型，得到第一层的结果——人脸与非人脸。分割完成的人脸作为第二层的输入，经过相同的过程得到子区域(眼睛，鼻子，嘴巴，眉毛，前额)的分割结果。最终将子区域作为第三层——人脸表情识别层的输入，经过同样的特征提取与组合，得到人脸图像的表情识别结果。另外，我们在TDP模型中加入姿态控制参数，使我们的方法可以在一个统一的模型中适应多姿态的人脸图像的表情识别。具体技术方案如下：

一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，包括以下步骤：

S1，样本图片的特征提取：对输入的原始图像进行图像二值化得到灰度图像，通过寻找具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角点边缘信息，连接得到感兴趣椭圆区域；对每一个感兴趣的椭圆区域提取128维SIFT特征以及相应的二维位置信息，对128维的SIFT特征通过K-means进行降维，与位置信息组合得到具有几何约束的三维特征向量；

S2，人脸检测与分割层训练：步骤S1所得三维特征向量作为模型第一层的输入，通过加入姿态参数c，训练得到一个可以适应多姿态人脸检测与分割子模型，并将分割完成的人脸图像作为下一层的输入；