[发明专利]一种人脸表情的识别方法

摘要

本发明涉及一种人脸表情的识别方法，具体包括以下步骤：步骤1：针对人脸表情数据集中的各个图像，检测图像中的人脸及特征点；步骤2：在步骤1的基础上，生成人脸图像上各个特征点局部区域的特征向量，计算基于人脸特征点的表情特征；步骤3：进行计算人脸表情特征向量；步骤4：在步骤3的基础上，利用自编码神经网络方法进行降维；步骤5：计算并得到非线性高维分类模型；步骤6：当用户输入人脸视频后，按照步骤1～步骤4方法构造新型较低维的形状特征描述符；步骤7：将输入视频人脸图像特征描述符与分类模型进行比较，从而确定出人脸表情图像在不同分类中的概率值。本发明的有益效果是：提高表情特征的描述能力；提高了表情识别的准确率。

主权项

1.一种人脸表情的识别方法，其特征在于，具体包括以下步骤：步骤1 针对人脸表情数据集中的各个图像，检测图像中的人脸及特征点：步骤1.1 针对人脸表情训练数据集中的各图像，检测图像中的人脸并实现特征点对齐，为了准确检测不同人脸特征点的准确位置，需要利用样本人脸中手工标注的特征点对平均人脸特征点的位置进行最优化回归计算,定义优化函数为如下公式(1)：其中，表示平均人脸的特征点，经过回归计算后得出人脸的68个特征点，平均人脸的特征点是对样本人脸中特征点的位置进行平均计算得到，表示当前人脸特征点。函数用来计算特征点局部区域特征；步骤1.2 在步骤1.1的基础上，为了得到最优化结果，计算平均人脸特征点到当前人脸特征点之间的一条最佳迭代路径，即计算f(x)的最小值，也就是计算从x₀位置到x位置的最优下降过程，而f(x)的最小值则由f‘(x)＝0计算得到，基于泰勒展开得到和Δx之间的一个线性关系为如下公式(2)：对于曲率以及偏移量无需计算，只需要利用样本人脸数据及其特征点位置对上式进行迭代回归，从而得到回归模型，即多组曲率和偏移量的下降参数值；步骤2 特征点形状描述：步骤2.1 在步骤1的基础上，生成人脸图像上各个特征点局部区域的特征向量，计算基于人脸特征点的表情特征，通过多尺度细节增强方法对人脸图像做预处理，利用层次化的梯度统计方法计算特征点局部区域特征；步骤2.2 在步骤1的基础上，对人脸图像进行旋转归一化，建立统一的人脸坐标系；步骤2.3 为了达到算法对人脸缩放的不变性，减少人脸缩放变化对于形状特征的影响，建立图像高斯尺度空间，形成图像金字塔结构，图像金字塔是多尺度计算的基础，通过对原图像进行上采样和下采样，建立图像的三层金字塔结构；步骤2.4 进行高斯模糊及图像差分计算，高斯拉普拉斯算子(LoG)能够得到图像局部细节，由于LoG算子计算成本较高，而不同尺度的高斯模糊图像差分(DoG)能够近似的表征LoG算子，因此提出基于DoG的图像局部细节计算方法；为了计算图像细节，首先对于不同尺度下的图像，采用不同的高斯模糊核对同一尺度下的图像进行不同级别的模糊变化；模糊核计算按照以下公式(3)进行：其中σ为平均差，r²＝x²+y²决定了模糊核的大小；具体应用中利用离散的像素距离作为模糊核大小，在本方法中分别取模糊核大小为r＝23和r＝21，而为平均差的计算方法，不同模糊核具有不同的平均差取值；对根据不同模糊核得到的统一尺度下的两层图像相减即得到高斯差分图像，如公式(4)～(6)：Li，j(x，y)＝Gi*I′(x，y)……(4)D1＝L2‑L1……(5)D2＝L3‑L2……(6)其中I′为尺度图像，L为不同模糊核模糊后的不同层的图像；步骤2.5 通过高斯差分后得到图像在不同尺度下的局部细节描述，局部细节描述叠加在图像中后能够增加人脸图像对于细节的表达能力,将高斯差分得到的图像与金字塔尺度空间的图像进行累加，得到不同尺度下细节增强后的人脸图像,如以下公式(7)：L′j＝Lj+D1j+D2j……(7)其中：L′j表示细节叠加后的图像，j＝1，2，3为表示不同尺度；步骤2.6 对于每个特征点选取以其为中心的16×16的局部区域，并将此16×16区域分为大小不同的四层结构，每层结构为不同数量的矩形块组成,三层结构分别是16个4×4的块，9个8×8的块，4个12×12的块以及1个16×16的块；步骤2.7 为了达到算法对于全局光照的不变性，对每一个块内所有像素计算梯度方向及幅值,对块内的像素梯度，按照不同方向分为四组并对每组的幅值进行累加统计，得到一个具有四个值的直方图，对于特征点的特征描述则由不同块直方图组合而成，从大块到小块，从左至右从上至下的顺序组合后局部特征的维数为30×4＝120维,对于不同尺度下的特征点局部特征进行组合，则特征点形状描述为120×3＝360维；步骤3 人脸图像的特征描述子来源与所有特征点局部区域特征的组合，脸部具有68个特征点，轮廓特征点对微表情的影响并不大，聚集于眼睛眉毛、鼻子及嘴巴周围的特征点能够更好的表达微表情变化，除去轮廓点外的剩余51个特征点，人脸图像的形状特征向量采取所述51个特征点点周边区域的特征，计算公式如以下公式(8)：至此，得到人脸表情特征向量为360×51＝18360维；步骤4 步骤3中的特征计算后所生成的形状特征向量维数过大，影响了后续算法的时间复杂度采用自编码神经网络方法进行降维，自编码神经网络是一种无监督学习算法，使用了反向传播算法，尝试学习一个H(W，b)(x)≈x的函数，相对数量较少的隐藏神经元是原有神经网络的一个很好的近似，却大大降低了维度；按照步骤1～步骤4的方法计算形状特征并进行特征降维后的得到一个625维的向量；步骤5 利用人脸表情特征对已有样本数据集进行分类数据挖掘，选取100个不同人的1000副人脸表情图像，并将人脸图像按照表情分为七种类型；对于每一个样本人脸表情图像，按照步骤1～步骤4中的人脸图像特征计算方法，分别计算样本数据库中所有人脸图像的形状特征描述符，并按照预先分类分别建立标签，采用支持向量机的计算方法，同时按照分类及特征描述信息对已有数据进行分类训练，得到非线性高维分类模型；步骤6 当用户输入人脸视频后，针对输入的人脸视频帧中人脸图像，按照步骤1～步骤4方法构造新型低维的形状特征描述符；步骤7 将输入视频人脸图像特征描述符与分类模型进行比较，从而确定出人脸表情图像在不同分类中的概率值。