[发明专利]一种基于空间注意的面部表情识别方法和装置

说明书

本发明公开了一种基于空间注意的面部表情识别方法和装置，通过获得空间注意模块；根据所述空间注意模块，搭建深度特征提取网络；在公开的自然面部表情数据集上训练所述深度特征提取网络，获得人脸表情识别模型；将目标人脸图像输入所述人脸表情识别模型进行识别。解决了现有技术中的面部表情特征提取中对局部细节特征提取不充分的技术问题，达到了在面部表情特征提取时加入了空间注意机制，可以自适应地学习面部特征在空间上权重分配，不仅可以加强面部表情中有鉴别信息区域的权重，还可以降低背景和无关区域的负面影响，提升面部表情识别结果的技术效果。

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种基于空间注意的 面部表情识别方法和装置。

背景技术

在人类人际交往中，通过面部表情传达的信息量达到了传递信息总 量的55％以上，这个比例要远高于通过语言传播的信息量。面部表情识别 作为人脸识别技术的重要组成部分，在人机交互、心理学研究、远程教 育管理、公共场所安全监控、电脑游戏、测谎仪、机器人制造、临床医 学及医疗、通信和车辆安全驾驶等领域都有着重要的应用需求。

现有的面部表情识别方法一般采用特征提取，然后通过对提取的特 征进行训练得到的分类器，进而得到最终的表情识别结果。特征提取是 面部表情识别中的关键一环。特征的提取方式有很多种，有传统的LBP、 Gabor、SIFT、FHOG等，也有各种深度学习模型，例如CNN、RNN、DBN等。 基于深度学习的特征提取方法则主要可分为基于整体的方法和基于局部 的方法。基于整体的方法是将面部整体处理，利用深度学习网络来提取 面部的特征；基于局部的方法则将面部分成几个区域(如眼角、嘴巴、 脸颊等区域)，然后分别对各个区域提取局部特征，然后特征融合。自然 场景中表情图像极易受到光照条件、头部姿势以及面部遮挡等背景环境 因素带来的影响。这些方法存在的问题有：一个是提取的特征多为传统手工设计特征或浅层学习特征，不能满足现实场景面部表情识别需求； 另一个是对局部细节特征提取不足。

发明内容

本发明提供了一种基于空间注意的面部表情识别方法和装置，用以 解决现有技术中的面部表情特征提取中对局部细节特征提取不充分的技 术问题。

鉴于上述问题，提出了本申请实施例以便提供一种基于空间注意的 面部表情识别方法和装置。

第一方面，本发明提供了一种基于空间注意的面部表情识别方法， 所述方法包括：获得空间注意模块；根据所述空间注意模块，搭建深度 特征提取网络；在公开的自然面部表情数据集上训练所述深度特征提取 网络，获得人脸表情识别模型；将目标人脸图像输入所述人脸表情识别 模型进行识别。

优选的，所述获得空间注意模块，包括：获得输入图像，将所述输 入图像的分辨率进行归一化；将归一化之后的输入图像进行特征融合， 获得第一融合特征；对所述第一融合特征进行全局平均池化操作，获得 第一统计量，所述第一统计量为所述归一化后的输入图像的局部描述其 的集合；对所述第一统计量进行激活，获得调制掩模；根据所述调制掩模Mark，获得调制结果；根据所述调制结果，利用残差连接获得空间注 意模块结果。

优选的，所述根据所述空间注意模块，搭建深度特征提取网络，包 括：输入图像通过所述空间注意模块获取空间关注特征图；将所述空间 关注图进行归一化，获得所述空间关注图归一化结果；将所述空间关注 图的归一化结果通过深度神经网络提取特征；根据所述特征，获得深度 特征提取网络。

优选的，所述将归一化之后的输入图像进行特征融合，获得第一融 合特征，包括：对归一化之后的输入图像进行卷积操作，所述卷积操作 为T＝F_tr(X；Θ)，公示定义为：其中，X_c为输入X的第c通道；T_i为输出T的第i个通道；Θ_i,c为一个2D的卷积核。

优选的，所述对所述第一融合特征进行全局平均池化操作，获得第 一统计量，所述第一统计量的计算公式为：