[发明专利]一种整合人脸全局和局部特征的表情识别方法

权利要求书

1.一种整合人脸全局和局部特征的表情识别方法，其特征在于，该方法包括以下步骤：

步骤1：对样本图像进行预处理，得到统一大小的人脸灰度图片；

步骤2：将步骤1预处理后的图片划分训练集和测试集，用于网络模型的训练和测试；

步骤3：使用整合人脸全局和局部特征的表情识别网络模型GL-FER中的全局分支提取人脸全局特征，两个局部分支提取人脸细节特征；

步骤4：将步骤3提取的人脸全局特征和局部特征进行融合，并将融合后的特征输入到softmax分类器中进行训练，得到一个整合人脸全局和局部特征的识别模型；

步骤5：将测试样本数据输入到步骤4设计的识别模型中，实现表情识别结果的更精准输出。

2.如权利要求1所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤1中，预处理过程包括：采用基于Haar特征的Adaboost算法先对数据库中的样本数据进行人脸检测，然后使用基于直方图均衡化的灰度归一化方法得到光照均匀的灰度图像，之后对灰度图像进行尺寸归一化得到同一大小的灰度图，最后对图像进行像素归一化处理，方便快速收敛网络。

3.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤1的原始图像均统一大小至64*64像素。

4.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，所述步骤3中，整合人脸全局和局部特征的表情识别网络模型提取人脸全局和细节特征过程包括：

使用7*7的卷积核对人脸图像进行卷积，加入BN和Relu激活函数，加快网络学习速率，防止网络过拟合，使用最大池化操作对图像降维处理后输出；

设计网络残差块Basic Block；

设计4层Conv Block：Conv Block2、Conv Block3、Conv Block4、Conv Block5，每层Conv Block由不同个数网络残差块组成；

Conv Block3之后设计一个全局分支(Global branch)和两个局部分支(Localbranch-1,Local branch-2)结构；

Conv Block5后对全局分支做平均池化处理；

Local branch-1和Local branch-2分支从第五层网络结构开始对图像进行从上到下的切割，Local branch-1切割为两块，Local branch-2切割为三块，用于提取人脸细节特征；

使用最大池化对三个分支中提取的全局特征(Global feature)和细节特征(Localfeature-1、Local feature-2)降维处理；

使用1*1的卷积对提取的局部特征输出向量和全局特征输出向量降维操作，保持特征向量的维度一致；

网络残差块设计包括：对上一层的输入图像使用1*1的卷积核进行卷积，加入BN和Relu激活函数后使用3*3的卷积核进行卷积，之后添加BN和Relu激活函数后再次使用1*1的卷积核进行卷积，每个网络残差块的输入和输出之间使用1*1的卷积保持输出维度一致。

5.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，GL-FER网络模型中Conv Block2由三个网络残差块组成，Conv Block3由4个网络残差块组成，Conv Block4由6个网络残差块组成，Conv Block5由3个网络残差块组成。

6.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法，其特征在于，GL-FER三个分支的前三层网络结构共享Conv Block2、Conv Block3网络层，到ConvBlock4时分成三个支路，第一个支路是Global branch，提取全局特征；第二个支路和第三个支路分别是：Local branch-1,Local branch-2，提取细节特征。