[发明专利]基于先验注意力机制引导的深度学习表情识别方法

说明书

本发明公开了一种基于先验注意力机制引导的深度学习表情识别方法，包括以下步骤：S1、对待识别的人脸图像进行人脸检测；S2、计算双眼和嘴部的中心坐标；S3、截取眼部和嘴部三个区域；S4、将人脸区域图像输入VGG16卷积神经网络，将眼部和嘴部区域图像输入到另一个VGG16卷积神经网络，得到四个一维特征向量；S5、获取全局人脸图像和三个局部区域图像对应的权重系数；S6、将特征向量与权重系数相乘；S7、进行特征融合；S8、输入全连接层进行特征降维；S9、通过Softmax激活函数激活得到表情类别。本发明结合眼动和注意力实验，在训练表情识别模型的时候，将更多的注意力放到特征更加丰富的眼部和嘴部区域，从而提高表情识别的准确率。

技术领域

本发明属于计算机视觉和深度学习领域，特别涉及一种基于先验注意力机制引导的深度学习表情识别方法。

背景技术

表情识别在计算机视觉领域一直都是受到人们的关注。表情识别在医疗健康、交通驾驶和心理学等领域都有普遍的应用。传统表情识别方法提取传统表情特征进行识别，传统表情特征提取方法有Gabor小波变换、局部二值模式(LBP)、局部线性嵌入(LLE)、梯度方向直方图(HOG)等。随着深度学习的发展，出现了使用卷积神经网络提取表情特征进行表情识别的方法，并且效果相比起传统方法有了很大的提升。但是在人脸表情图像分辨率比较低、质量较差、背景干扰较大的情况下，卷积神经网络提取的特征的相似度较高，导致网络无法正确识别各种表情，进而导致表情识别的准确率降低。

大量眼动实验和注意力实验证明，当人类在识别进行人脸识别或者表情识别等任务的时候，会将更多的注意力关注到人的眼睛和嘴巴等部位。这是因为人类的注意力资源是有限的，在进行视觉任务的时候，人类会将我们更加感兴趣的、包含更多信息的区域。计算机的计算资源同样是有限的，让计算机拥有人类的注意力机制，会大大提高计算机视觉任务的准确率。

发明内容

本发明的目的在于克服现有技术的不足，提供一种结合眼动和注意力实验，让神经网络模拟人类在进行表情识别任务时的注意力机制，在训练表情识别模型的时候，将更多的注意力放到特征更加丰富的眼部和嘴部区域，从而提高表情识别的准确率的基于先验注意力机制引导的深度学习表情识别方法。

本发明的目的是通过以下技术方案来实现的：基于先验注意力机制引导的深度学习表情识别方法，包括以下步骤：

S1、对待识别的人脸图像进行人脸检测，获取人脸区域图像；

S2、对获取的人脸区域图像进行人脸关键点检测，计算双眼和嘴部的中心坐标；

S3、通过双眼和嘴部的中心点坐标截取眼部和嘴部三个区域；

S4、将S1中获取的人脸区域图像输入VGG16卷积神经网络提取深度特征，输出一个全局的一维特征向量；将S3中获取的眼部和嘴部区域一共三个区域的图像输入到另一个VGG16卷积神经网络中，分别输出三个局部的一维特征向量，最终得到四个一维特征向量；

S5、通过预先进行的眼动和注意力实验，获取S1中全局人脸图像和S3中三个局部区域图像对应的特征向量的权重系数；

S6、将每个特征向量与其对应的权重系数相乘；

S7、进行特征融合，将相乘后的四个一维特征向量进行拼接操作，得到一个更大的一维向量；

S8、将S7中得到的特征向量输入全连接层进行特征降维；

S9、通过Softmax激活函数激活得到对应表情类别。

进一步地，所述步骤S3中具体实现方法为：将S1中获取的人脸区域图像Resize为96x96像素大小，通过S3获取的三个中心坐标，将左右眼和嘴部区域从人脸区域截取出来，每个部分截取的大小为36x36。

进一步地，所述步骤S5具体实现方法为：