[发明专利]一种结合注意力模块与二阶池化机制的人脸表情识别方法

说明书

本发明公开了一种结合注意力模块与二阶池化机制的人脸表情识别方法，涉及深度学习领域。本发明包括以下步骤：获取人脸图像；对人脸图像预处理，所述人脸图像预处理包括人脸检测与对齐，数据增强以及图像归一化；将预处理后的人脸图像进行特征提取，并完成表情分类。本发明有效地将自然环境下受光照、头部姿态、遮挡等因素干扰的人脸图片转为对比度合适、无遮挡的正脸图片，从而解决了真实世界环境下其他与表情无关因素变量对表情识别效果带来的干扰问题。

技术领域

本发明涉及深度学习领域，更具体的说是涉及一种结合注意力模块与二阶池化机制的人脸表情识别方法。

背景技术

人脸表情是在人与人的交流中传递信息的重要方式，人脸表情识别技术的发展可以有效地促进模式识别，图像处理等相关领域的发展，具有很高的科研价值，其应用场景包括重症监测、疲劳驾驶监测、刑事侦测、人机交互等。随着大规模图像数据及计算机硬件(尤其是GPU)的飞速发展，深度学习方法在图像理解中取得了突破性的成果，深度神经网络具有强大的特征表达能力，能够学习出具有判别能力的特征，逐渐被应用于自动人脸表情识别任务。根据所处理数据类型的不同，深度人脸表情识别方法大致可以分为两大类:基于静态图像的深度人脸表情识别网络和基于视频的深度人脸表情识别网络。

当前先进的基于静态图像的深度人脸表情识别方法主要可分为：多样化的网络输入、级联网络、多任务网络、多网络融合以及生成对抗网络等，而基于视频的深度人脸表情识别则主要运用基础时序网络去解析视频序列中所携带的时间信息，例如LSTM,C3D等，或者利用人脸关键点轨迹去捕捉连续帧中面部成分的动态变化，以及将空间网络和时间网络并行的多网络融合。此外，结合其他表情模型如面部动作单元模型以及其他多媒体模态，如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。

2013年起，表情识别比赛如FER2013和EmotiW从具有挑战性的真实世界场景中收集了相对充足的训练样本，促进了人脸表情识别从实验室受控环境到自然环境下的转换。从研究对象来看，表情识别领域正经历着从实验室摆拍到真实世界的自发表达、从长时间持续的夸张表情到瞬时出现的微表情、从基础表情分类到复杂表情分析的快速发展。

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境，目前的深度人脸表情识别系统致力于解决以下几个问题:

1)由于缺乏足量训练数据导致的过拟合问题；

2)真实世界环境下其他与表情无关因素变量(例如光照、头部姿态和身份特征)带来的干扰问题；

3)提升真实环境下人脸表情识别系统识别准确率。

发明内容

有鉴于此，本发明提供了一种结合注意力模块与二阶池化机制的人脸表情识别方法，以解决上述背景技术中的问题。

为了实现上述目的，本发明采用如下技术方案：

一种结合注意力模块与二阶池化机制的人脸表情识别方法，包括以下步骤：

获取人脸图像；

对人脸图像预处理，所述人脸图像预处理包括人脸检测与对齐，数据增强以及图像归一化；

将预处理后的人脸图像进行特征提取，并完成表情分类。

可选的，所述人脸检测与对齐包含人脸检测、关键点定位和人脸对齐，具体为：

人脸检测模块输入为人脸表情图片，输出为检测到的人脸区域；

根据人脸检测区域进行人脸关键点坐标定位，利用dlib库中的人脸关键点检测接口导入五点关键点检测模型获取人脸的五点关键点坐标；

利用五点关键点坐标进行人脸对齐。

可选的，所述人脸对齐的计算过程如下：