[发明专利]一种基于时序注意力机制的人脸连续表情识别方法

说明书

本发明涉及一种基于时序注意力机制的人脸连续表情识别方法，在通过深度卷积神经网络进行视频帧的特征提取同时，结合时空注意力机制，增强特征在空间域的描述能力，以及增加特征在时间域的描述，在连续维度情感空间中，进行时空上下文相关的情感预测。情感的变化是一个渐进的过程，仅通过单帧空间域的表情特征，难以取得很好的连续情感识别精度。而临近时间域的图像帧通常具有规律性，时间域特征计算能够为基于学习的多帧融合特征提供可靠的数据支撑。本发明基于愉悦度‑激活度情感空间，基于时空注意力机制提取视频中连续多帧表情的上下文依赖关系，学习表情发生过程中面部肌肉运动规律；建立了连续表情识别模型。发明可应用于刑侦、民航安全检测等领域。

技术领域

本发明涉及人工智能及计算机人机交互领域，具体是一种基于视频的连续维度情感识别方法。

背景技术

随着人工智能及情绪心理学研究的深入，利用计算机自动识别监测视频中人脸微表情，分析情感状态的行为成为可能，而且针对视频中人脸的情感分析在刑侦、民航安全检测、教育培训、特殊医学治疗以及电子商务方面都具有很高的应用价值。对于嫌疑人或被监视人的情感分析，有利于辅助刑侦人员正确甄别行为和心理情绪之间的关联，为判断提供依据。在民航危险品运输的问询中或疑似恐怖分子侦察中，利用自动情感分析，亦可协助人力解决漏判误判问题。自动人脸情感分析也可以用于课堂教学质量评估，辅助抑郁症和自闭症及特殊患者治疗等领域，推进计算机智能化应用发展。而传统方法通常只提取单帧图像特征用于预测，准确率不高。人脸的情感变化是一个渐进的过程，仅通过一瞬间的表情难以准确估计真实情感，尤其是在维度情感预测问题下，预测的目标不是离散的类别，而是一个值域为-1到1的连续值，这就更需要考虑时间上下文信息。近年来，随着计算机算力的不断增长，基于时序特征的算法被提出，用于学习相邻时间段内的表情线索，帮助更好地预测某一瞬间的情感。但是，已有方法仍存在问题，对于帧与帧之间的依赖关系无法准确表达、训练不稳定且输出值抖动大，

发明内容

针对此问题，本发明提出基于时序注意力机制的人脸连续表情识别方法，提取人脸时空显著特征，提高识别准确率，解决了帧与帧之间的依赖关系无法准确表达、训练不稳定且输出值抖动大的问题，本发明还提供一种改进的3D卷积神经网络模型，该模型加入了时间和空间注意力层，目的是更好地表示时空位置之间的依赖关系；该模型用期望回归层替代了传统的单神经元回归层，目的是解决训练过程中梯度不稳定和输出结果抖动大的问题。

本发明解决其技术问题所采用的技术方案是：一种基于时序注意力机制的人脸连续表情识别方法，包括以下步骤：

步骤1，输入视频中的帧序列，从视频帧序列中提取一段子序列，长度为T，帧步长为D，假设第i帧为要进行情感识别的目标帧，那么第到第i-1帧，以及第i+1帧到第帧，用于提供上下文信息；

步骤2，对子序列中每一帧图像进行人脸对齐，并且进行图像归一化；

步骤3，将该子序列输入到三维卷积神经网络(3DCNN)中，并引入时间注意力层和空间注意力层，学习时空上下文之间的依赖关系，提取人脸图像的时空显著特征，并与第i帧特征共同合成该帧的时空特征图；

步骤4，将提取到的时空特征图，输入到由Softmax分类层和情感分段间隔预测层组成的“期望回归层”，Softmax分类层用于将取值范围为[-1,1]的连续值，离散化为21个类别的分数段，从而将愉悦度和激活度的回归问题，转化为分数段的分类问题，输出分数段的概率分布；期望回归层中引入情感分段间隔预测层的作用是，使用带有可学习参数的多层感知机(MLP)，来预测分数段的分段间隔，生成更符合原始数据分布的非均匀分段；

步骤5，将Softmax分类层输出的概率分布，与分段间隔预测层输出的分段值向量，进行内积运算，输出愉悦度和激活度的期望值。

进一步的，所述步骤1中，选取时间长度为T的帧序列来提取特征，提取单帧图像中所含的空间视觉特征，同时提取到时间维度上的关联信息。