[发明专利]一种基于层次TDP模型的人脸检测、分割和表情识别方法

权利要求书

1.一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，包括以下步骤：

S1，样本图片的特征提取：对输入的原始图像进行图像二值化得到灰度图像，通过寻找具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角点边缘信息，连接得到感兴趣椭圆区域；对每一个感兴趣的椭圆区域提取128维SIFT特征以及相应的二维位置信息，对128维的SIFT特征通过K-means进行降维，与位置信息组合得到具有几何约束的三维特征向量；

S2，人脸检测与分割层训练：步骤S1所得三维特征向量作为模型第一层的输入，通过加入姿态参数c，训练得到一个可以适应多姿态人脸检测与分割子模型，并将分割完成的人脸图像作为下一层的输入；

S3，子区域的检测与分割层的训练：对步骤S2所检测的人脸图片，采用步骤S1的方法进行特征提取，将提取的特征作为模型第二层子区域分割层的输入，训练得到子区域检测与分割子模型，将分割得到的与表情最相关的子区域作为模型第三层人脸表情识别层的输入，其余区域丢弃；

S4，人脸表情识别层的训练：将步骤S3检测得到的子区域采用步骤S1的方法进行特征提取，得到的具有几何约束的特征向量作为模型最后一层人脸表情识别层的输入，通过姿态信息的引入训练得到可以适应多姿态的人脸表情识别模型；

S5，人脸测试图片中人脸表情的识别：采用S1中的特征提取方法提取待识别人脸表情图像的特征，然后依次输入S2，S3，S4中训练得到的人脸检测与分割层，子区域的检测与分割层和人脸表情识别层，最终得到待识别人脸表情图像中人脸所表现的表情类别。

2.根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，所述步骤S1中具有几何约束的三维特征向量形成的具体过程为：对得到的椭圆区域进行特征提取，得到椭圆区域的二维位置信息，以及128维SIFT特征信息；对128*n维SIFT特征通过k-means进行降维得到1*n维信息，其中，n为椭圆区域的数量，结合二维坐标信息得到三维特征向量作为训练模型的输入信息。

3.根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，所述步骤S2中多姿态人脸检测与分割子模型为：通过引入姿态参数c，使一张图片的最小表示单元EIR的特征表情t不仅仅用类别标签m来标注，而是将t表示为t＝c·m来标注一张训练图片中的每一个EIR,从而得到一个可以适应多姿态的人脸检测与分割的统一的子模型。

4.根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，所述步骤S3中分割得到与表情最相关的子区域的具体过程为：经过多次迭代循环之后得到多个子区域对应的不同分布，对一张测试图片，判断它所拥有的N个一张图片的最小表示单元EIR属于每个子区域的概率，然后根据最大似然估计值得到每个EIR所属的类别，然后对其进行划分，即可将一张测试图片划分为多个子区域。

5.根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，所述步骤S5学习得到待检测图片的人脸表情类别的具体过程如下：经过多次迭代循环之后学习得到每张人脸图像所属的人脸表情类别所对应的不同分布，对一张人脸表情图像，判断这张人脸表情图像属于每种表情类别的概率，取其最大似然估计值得到一张人脸表情图像所属的人脸表情类别。