[发明专利]一种基于面部分块的表情识别方法

权利要求书

1.一种基于面部分块的表情识别方法，其特征是构造主体网络和分支网络两个深度网络用于面部特征提取，主体网络为基于图片时间信息的表情识别网络，提取人脸的整体特征，分支网络为基于图片几何信息的表情识别网络，捕捉面部分块之间的联系，找出对网络识别贡献最大的区域，用于提取面部分块的局部特征，在进入分类器进行识别之前将两步部分特征进行融合，提高表情的识别准确率，最后由分类器给出表情识别结果；其中，面部分块是指根据表情动作将人脸根据分为N个运动块，分块方式是由点到面进行，首先确定每个分块的核心点，进而根据与核心点距离计算得到分块区域，核心点的坐标根据人脸关键点得到。

2.根据权利要求1所述的一种基于面部分块的表情识别方法，其特征是包括以下步骤：

1)构建全卷积面部表情识别网络：面部表情识别网络包括数据预处理、面部特征提取和表情分类三个阶段，数据预处理用于面部对齐与面部裁剪，得到面部归一化数据，面部特征提取包括面部整体特征提取和面部分块特征提取，得到人脸特征表示，表情分类阶段根据人脸特征进行分类预测，网络中的卷积层均经过批标准化处理，以ReLU作为激活函数；

2)训练阶段：利用面部表情识别数据集训练构建的全卷积神经网络，使用交叉熵函数作为损失函数；

3)测试阶段：将测试图像输入网络，得到表情分类结果。

3.根据权利要求2所述的一种基于面部分块的表情识别方法，其特征是步骤1)中，数据预处理分为两个阶段，首先是人脸68个关键点检测，再而是面部裁剪，面部裁剪是根据人脸关键点坐标得到面部轮廓，裁剪出脸部图像。

4.根据权利要求2所述的一种基于面部分块的表情识别方法，其特征是步骤1)中，面部特征提取阶段包括两个小型网络，即主体网络和分支网络，主体网络包括两层卷积层，两个最大池化层，以及两个全连接层，卷积层和最大池化层都是采用5*5卷积核，ReLU为激活函数，全连接层采用dropout防止过拟合；分支网络输入为面部图像的关键点坐标，分支网络首先选择面部分块的中心点，再而对分块提取特征，并对分块做注意力计算，得到分块的热点图heatmap，分支网络的卷积核采用3*3，步长为1。

5.根据权利要求4所述的一种基于面部分块的表情识别方法，其特征是主体网络用3D卷积操作来同时从时间和空间维度捕捉特征，使用3个图像序列作为输入，主体网络的3D滤波器不对时间轴进行权重共享，从而让不同的滤波器产生适应性变化，主体网络两层卷积层的第一层的激活函数是其中f_x,y,i是位置(x,y)的第i个特征激活图，R和S分别是滤波器的行数和列数，T_a是输入帧的总数，是位置(x+r,y+s)在时间t的值，是在t帧中(r,s)的第i个滤波器系数，b_i是第i个滤波器的偏置系数，δ(·)为激活函数，使用的是ReLU，主体网络卷积层的输出在池化层缩减为一半，最后的输出值通过两个全连接层，再输入softmax分类器进行分类。

6.根据权利要求4所述的一种基于面部分块的表情识别方法，其特征是分支网络根据表情将人脸分为12个运动块，分支网络对每一张图片的面部分块，采用卷积网络对输入的面部分块图像计算其热点图，得到热点矩阵，对于靠近中心点的区域设置高权重，远离中心点区域设置低权重，然后将热点矩阵融入主体网络，热点矩阵和特征矩阵做求和，作为另一个特征维度带入计算。

7.根据权利要求4所述的一种基于面部分块的表情识别方法，其特征是步骤1)的表情分类阶段中，在主体网络的第二层加入分支网络的heatmap的特征，将分支网络提取的面部分块的热点图heatmap与主体网络卷积产生的特征图featuremap进行乘积，逐像素求和，得到融合的特征，最后由主体网络输出至softmax分类器进行分类。

8.根据权利要求2所述的一种基于面部分块的表情识别方法，其特征是在训练阶段，使用随机梯度下降的方法进行优化，并使用dropout和权重衰减的方法进行正则化，主体网络的全连接层采用dropout为0.4。