[发明专利]一种基于层次TDP模型的人脸检测、分割和表情识别方法

摘要

本发明公开了一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，首先对原始图像进行预处理，提取SIFT特征以及对应的位置信息，再采用一种有效的迁移狄利克雷过程将这两种特征组合得到的具有几何约束的特征向量输入到TDP模型，得到第一层的结果——人脸与非人脸。分割完成的人脸作为第二层的输入，经过相同的过程得到子区域的分割结果。最终将子区域作为第三层——人脸表情识别层的输入，经过同样的特征提取与组合，得到人脸图像的表情识别结果。本发明解决了传统多姿态表情识别中需要为每种姿态分别建立模型，以及由于姿态等因素造成模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。

主权项

1.一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，包括以下步骤：S1，样本图片的特征提取：对输入的原始图像进行图像二值化得到灰度图像，通过寻找具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角点边缘信息，连接得到感兴趣椭圆区域；对每一个感兴趣的椭圆区域提取128维SIFT特征以及相应的二维位置信息，对128维的SIFT特征通过K‑means进行降维，与位置信息组合得到具有几何约束的三维特征向量；S2，人脸检测与分割层训练：步骤S1所得三维特征向量作为模型第一层的输入，通过加入姿态参数c，训练得到一个可以适应多姿态人脸检测与分割子模型，并将分割完成的人脸图像作为下一层的输入；S3，子区域的检测与分割层的训练：对步骤S2所检测的人脸图片，采用步骤S1的方法进行特征提取，将提取的特征作为模型第二层子区域分割层的输入，训练得到子区域检测与分割子模型，将分割得到的与表情最相关的子区域作为模型第三层人脸表情识别层的输入，其余区域丢弃；S4，人脸表情识别层的训练：将步骤S3检测得到的子区域采用步骤S1的方法进行特征提取，得到的具有几何约束的特征向量作为模型最后一层人脸表情识别层的输入，通过姿态信息的引入训练得到可以适应多姿态的人脸表情识别模型；S5，人脸测试图片中人脸表情的识别：采用S1中的特征提取方法提取待识别人脸表情图像的特征，然后依次输入S2，S3，S4中训练得到的人脸检测与分割层，子区域的检测与分割层和人脸表情识别层，最终得到待识别人脸表情图像中人脸所表现的表情类别。