[发明专利]一种基于多特征自适应融合的人脸表情识别方法

权利要求书

1.一种基于多特征自适应融合的人脸表情识别方法，其特征在于：包括步骤：

S1、从待识别表情图像中检测出对应的人脸区域，截取人脸区域图像块后，用于表情识别；

S2、利用多种特征提取方法对人脸区域进行特征提取；

S3、将特征集合 中的元素进行自适应融合；

S4、将融合后的特征进行识别；

其中，所述步骤S3具体为：

步骤S31、针对步骤S2获取的特征集合，向量长度为，其中为特征对应的特征长度，将特征集合中特征向量通过神经网络全连接的方式映射到同一长度，对应映射后的特征向量为，其中为集合中元素映射后的特征向量，全连接映射方式如下：

其中，为向量的第个元素，和为神经网络中映射参数，为的个特征元素；

步骤S32、将集合中所有特征向量各自通过全连接方式生成对应的初步权重系数，假定相应加权系数为集合，其中为集合中特征向量通过全连接生成的初步加权系数；

步骤S33、先将集合中的个向量元素按行方向拼接得到维向量矩阵，然后利用Softmax算子对拼接后的权值进行归一化处理得到新的加权系数，最后将处理后的加权系数按行方向进行分离，得到，过程如下：

上式中，concat运算将集合中n个维向量拼接成1个维向量；

上式中，Softmax具体运算操作为：

其中，向量维度为，为向量上第i行、j列元素；

上式中，split运算将向量按行进行拆分，将维向量拆分成n个维向量集合；

步骤S34、将步骤S33分离后的权重向量集合与步骤S31生成的特征向量对应相乘然后将相乘后的结果相加得到最终的融合向量，对应的的特征向量维度为。

2.根据权利要求1所述的一种基于多特征自适应融合的人脸表情识别方法，其特征在于：步骤S1中所述的待识别表情图像通过摄像头或者用户已有图像数据库获取，并采用基于图像特征提取算法LBP和分类算法Adaboost的组合；或采用MTCNN、Faceboxes深度学习算法检测出对应的人脸区域。

3.根据权利要求1所述的一种基于多特征自适应融合的人脸表情识别方法，其特征在于：步骤S2中所述的利用多种特征提取方法，包括HOG、LBP、CNN中的一种或多种对步骤S1获取的人脸区域进行特征提取，得到对应特征集合，并将特征集合中存在的多维特征向量进行展开变换成一维特征向量，得到新的特征集合，其中为集合中展开后的特征向量。

4.根据权利要求1所述的一种基于多特征自适应融合的人脸表情识别方法，其特征在于，所述步骤S4具体为：

S41、将步骤S34融合后的特征向量通过全连接方式映射到与表情类别维度大小相同的向量；

S42、使用Softmax对向量进行分类。

5.根据权利要求2所述的一种基于多特征自适应融合的人脸表情识别方法，其特征在于，所述MTCNN深度学习算法具体为：

S11.首先将图像进行不同尺度的变换，构建图像金字塔，以适应不同大小的人脸的进行检测；

S12.利用神经网络P-Net对上一步构建完成的图像金字塔进行初步特征提取与标定边框，P-Net利用3个浅层的卷积层对输入进行特征提取，然后通过人脸分类器判断该区域是否包含人脸，并且P-Net使用边框回归和面部关键点的定位器来进行人脸区域的初步提取，因此该网络将输出大量可能存在人脸的人脸区域；

S13.利用神经网络R-Net对P-Net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，且再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，将输出较为可信的人脸区域；

S14.利用更为复杂的神经网络O-Net对R-Net输出的人脸区域进行更加精细化的筛选，同样，该网络将输出人脸区域和人脸特征定位点且将该网络的输出作为最终输出，其中O-Net包含四个深层的卷积层和一个全连阶层。

6.根据权利要求2所述的一种基于多特征自适应融合的人脸表情识别方法，其特征在于，所述Faceboxes深度学习算法具体为：

S111.通过神经网络大尺寸卷积核以及下采样Pooling层对输入空间进行快速缩小；

S112.仿照SSD设计多尺度卷积层并通过使用更加密集的anchor boxes对经S111步骤缩小后的特征图进行人脸区域回归，实现不同尺度大小的人脸目标检测。