[发明专利]一种整合人脸全局和局部特征的表情识别方法

说明书

一种整合人脸全局和局部特征的表情识别方法，模型特征提取阶段，设计三个分支；分支一使用整张人脸图片提取人脸全局特征；分支二将人脸从上到下切割成两部分，分支三将人脸从上到下切割成三部分，提取人脸局部特征；将提取的全局和局部特征融合后输入到softmax分类器中进行人脸表情分类，得到一个整合人脸全局和局部特征的识别模型。实验表明，将全局和局部特征分别提取后再融合的方法能够提高人脸表情识别的准确率。

技术领域

本发明属于人脸表情识别、图像处理、人工智能领域，具体涉及一种整合人脸全局和局部特征的表情识别方法。

背景技术

人脸表情识别(Facial Expression Recognition，FER)是机器感知人类情绪并与人类进行交互的重要手段，是人机交互的重要研究方向。通过对人脸表情的分析，可以大概反应出人的当前情绪和潜在意图，对人与人之间的社会交往起着举足轻重的作用。同时人脸表情识别技术的进步能够促进图像处理、人工智能等多领域的发展。

传统人脸表情识别通常是先手工提取人脸特征然后输入到分类器中分类表情，设计复杂且识别率较低。卷积神经网络将特征提取与分类融合到一个end-to-end的网络中，一定程度上克服了手工特征提取的不足。但目前大多数研究采用单一的网络来提取人脸全局特征，一些不显著的细节和出现频率比较低的特征容易被忽略，损失了部分人脸细节特征，且使用小数据集直接训练深度网络很容易导致过拟合问题，网络模型容易退化，影响人脸表情识别的准确性。

发明内容

为了克服已有技术的不足，本发明提供本发明提出一种整合人脸全局和局部特征的表情识别方法，通过将人脸划分成多个部分，提取人脸全局和局部特征，解决现有技术中人脸特征提取不全面以及深层网络训练中出现的过拟合、梯度消失、模型退化问题，进一步提高人脸表情识别精准度。

本发明解决其技术问题所采用的技术方案是：

一种整合人脸全局和局部特征的表情识别方法，该方法包括以下步骤：

步骤1：对样本图像进行预处理，得到统一大小的人脸灰度图片；

步骤2：将步骤1预处理后的图片划分训练集和测试集，用于网络模型的训练和测试；

步骤3：使用整合人脸全局和局部特征的表情识别网络模型(Facial ExpressionRecognition Based on Global and Local Feature，GL-FER)中的全局分支提取人脸全局特征，两个局部分支提取人脸细节特征；

步骤4：将步骤3提取的人脸全局特征和局部特征进行融合，并将融合后的特征输入到softmax分类器中进行训练，得到一个整合人脸全局和局部特征的识别模型；

步骤5：将测试样本数据输入到步骤4设计的识别模型中，实现表情识别结果的更精准输出；

进一步，所述步骤1中，预处理过程包括：采用基于Haar特征的Adaboost算法先对数据库中的样本数据进行人脸检测，然后使用基于直方图均衡化的灰度归一化方法得到光照均匀的灰度图像，之后对灰度图像进行尺寸归一化得到同一大小的灰度图，最后对图像进行像素归一化处理，方便快速收敛网络。

再进一步，所述步骤1的原始图像均统一大小至64*64像素。

更进一步，所述步骤3中，整合人脸全局和局部特征的表情识别网络模型(FacialExpression Recognition Based on Global and Local Feature，GL-FER)提取人脸全局和细节特征过程包括：

使用7*7的卷积核对人脸图像进行卷积，加入BN和Relu激活函数，加快网络学习速率，防止网络过拟合，使用最大池化操作对图像降维处理后输出；

设计网络残差块Basic Block；