[发明专利]一种结合注意力模块与二阶池化机制的人脸表情识别方法

权利要求书

1.一种结合注意力模块与二阶池化机制的人脸表情识别方法，其特征在于，包括以下步骤：

获取人脸图像；

对人脸图像预处理，所述人脸图像预处理包括人脸检测与对齐，数据增强以及图像归一化；

将预处理后的人脸图像进行特征提取，并完成表情分类。

2.根据权利要求1所述一种结合注意力模块与二阶池化机制的人脸表情识别方法，其特征在于，所述人脸检测与对齐包含人脸检测、关键点定位和人脸对齐，具体为：

人脸检测模块输入为人脸表情图片，输出为检测到的人脸区域；

根据人脸检测区域进行人脸关键点坐标定位，利用dlib库中的人脸关键点检测接口导入五点关键点检测模型获取人脸的五点关键点坐标；

利用五点关键点坐标进行人脸对齐。

3.根据权利要求2所述一种结合注意力模块与二阶池化机制的人脸表情识别方法，其特征在于，所述人脸对齐的计算过程如下：

首先分别根据左右两眼的四个坐标(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)，求出左眼和右眼的中心坐标：

获得两眼中心坐标后，先对两眼中心坐标连线，计算该连线与水平线的夹角θ，然后对左眼中心坐标、右眼中心坐标以及鼻子下方点坐标三点坐标取平均以计算出一个旋转中心点坐标(x_center,y_center)：

结合旋转中心点坐标(x_center,y_center)和夹角θ，利用OpenCV中求解仿射变换矩阵的接口得仿射变换矩阵，调用OpenCV的接口函数对图像进行仿射变换，得到人脸对齐的照片。

4.根据权利要求1所述一种结合注意力模块与二阶池化机制的人脸表情识别方法，其特征在于，所述数据增强是通过深度学习框架pytorch中的transforms.Compose()接口在数据读取阶段动态地对输入图像进行随机几何或者颜色类的变换操作，然后再将变换后的图片输入网络进行训练，实现数据的扩充。

5.根据权利要求1所述一种结合注意力模块与二阶池化机制的人脸表情识别方法，其特征在于，所述图像归一化将图像的像素值除以255，归一化后的图像任意像素值都在[0,1]之间。

6.根据权利要求1所述一种结合注意力模块与二阶池化机制的人脸表情识别方法，其特征在于，利用18层resnet网络实现人脸表情特征的提取，通过在resnet网络末端添加softmax层，将网络输出结果归一化为7类表情的概率值，其中最大值则为分类结果。

7.根据权利要求1所述一种结合注意力模块与二阶池化机制的人脸表情识别方法，其特征在于，运用端到端的深度神经网络实现特征提取与表情分类，所述深度神经网络的结构如下：首层为卷积核大小为7×7的卷积层，通道数为64；第二层为池化核大小为3×3的池化层，通道数为64；连接八个融合了卷积注意力模块的残差结构，最后输出512维通道的特征图，接着连接一个二阶池化层实现特征的聚合，最后利用一个全连接层和softmax层得到分类结果。