[发明专利]基于先验注意力机制引导的深度学习表情识别方法

权利要求书

1.基于先验注意力机制引导的深度学习表情识别方法，其特征在于，包括以下步骤：

S1、对待识别的人脸图像进行人脸检测，获取人脸区域图像；

S2、对获取的人脸区域图像进行人脸关键点检测，计算双眼和嘴部的中心坐标；

S3、通过双眼和嘴部的中心点坐标截取眼部和嘴部三个区域；

S4、将S1中获取的人脸区域图像输入VGG16卷积神经网络提取深度特征，输出一个全局的一维特征向量；将S3中获取的眼部和嘴部区域一共三个区域的图像输入到另一个VGG16卷积神经网络中，分别输出三个局部的一维特征向量，最终得到四个一维特征向量；

S5、通过预先进行的眼动和注意力实验，获取S1中全局人脸图像和S3中三个局部区域图像对应的特征向量的权重系数；

S6、将每个特征向量与其对应的权重系数相乘；

S7、进行特征融合，将相乘后的四个一维特征向量进行拼接操作，得到一个更大的一维向量；

S8、将S7中得到的特征向量输入全连接层进行特征降维；

S9、通过Softmax激活函数激活得到对应表情类别。

2.根据权利要求1所述的基于先验注意力机制引导的深度学习表情识别方法，其特征在于，所述步骤S3中具体实现方法为：将S1中获取的人脸区域图像Resize为96x96像素大小，通过S3获取的三个中心坐标，将左右眼和嘴部区域从人脸区域截取出来，每个部分截取的大小为36x36。

3.根据权利要求1所述的基于先验注意力机制引导的深度学习表情识别方法，其特征在于，所述步骤S5具体实现方法为：

S51、通过预先进行的眼动和注意力实验，记录下眼动注视点分布图；

S52、将人脸图像Resize成为96x96像素大小，统计整个人脸表情图像注视点的个数，然后按照S3的方法截取左右眼和嘴巴三个区域；

S53、分别计算整个人脸表情图片及截取出来的左右眼和嘴巴四个区域的相对注视点分布比例系数，作为对应的特征向量的权重系数，计算方式为：

人脸区域：

左眼区域：

右眼区域：

嘴部区域：