[发明专利]一种基于注意力机制的三维卷积微表情识别算法

说明书

本发明公开了一种基于注意力机制的三维卷积微表情识别方法，首先进行数据集预处理，数据集预处理部分包括：人脸剪裁、人脸对齐、视频序列帧数统一；再通过视频序列提取光流序列；再将提取出来的光流序列与视频序列分别输入三维卷积、三维池化、Attention后得到对应的新的光流序列与视频序列特征；使用Co‑Attention进行特征引导，先使用视频序列特征引导光流序列特征，再使用引导后的光流序列特征引导视频序列特征；将引导后的特征进行融合得到联合特征；将联合特征送入到分类层进行微表情分类识别。本发明使用三维卷积神经网络提取时空特征，再结合注意力机制提取关键特征，在两个公开的数据集上SMIC与CASMEⅡ进行实验，提高了微表情识别的准确性。

技术领域

本发明属于信息技术领域，涉及视频序列处理、光流序列处理、微表情识别，具体是一种基于注意力机制的三维卷积微表情识别算法。

背景技术

面部表情包含宏表情与微表情，宏表情是在我们生活中较容易观察到的，持续时间比较长，且面部肌肉收缩或舒张幅度比较大；微表情持续时间在1/25-1/2 秒之间，持续时间比较短，肌肉收缩或舒张幅度较小，因此大多人往往难以觉察到它的存在。由于微表情更倾向于那些被抑制的表情，因此微表情更能体现人们真实的感受和动机，可以应用在不同的领域:警察诊断，商务谈判，精神分析等领域。

微表情识别是指在已经确定是微表情的情况下进行详细分类(如：积极、消极、惊讶)。传统的微表情识别算法使用LBP、LBP-TOP、LBP-SIP等算子来提取纹理信息，再结合SVM、多核分类器以及随机森林来识别微表情。传统的微表情识别方法把特征提取和分类器设计分开来做，然而因为手工设计特征需要大量的经验以及调试工作，其次选择一个比较合适的分类器算法也是一大难点。近年来，随着深度学习的发展，深度神经网络算法以及注意力机制的广泛应用，为微表情识别带来了新的研究方向。微表情识别深度学习方法一般使用CNN+RNN 网络模型或者使用三维卷积神经网络来提取特征，但是特征冗余较大，有效信息不明确。本发明是首次将注意力机制与三维卷积一起使用来进行微表情识别，既可以挖掘大量的时空特征，又可以挖掘特征中更有效的信息，得到识别性能提升的效果。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于注意力机制的三维卷积微表情识别算法，有效地利用网络结构中视频序列与光流序列的特征和使用Attention层、Co-Attention层提取关键特征，以更好地解决微表情识别问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于注意力机制三维卷积微表情识别网络模型的建立方法，包括以下步骤：

步骤1，对数据集进行预处理：

该数据集包括多个微表情视频序列，每个微表情视频序列均由一组视频帧构成；预处理后数据集中每个微表情视频序列维度是d_v×w×h，其中，d_v是视频帧的帧数，w与h分别是视频帧的宽度与高度；

步骤2，采用自监督方法对预处理后的数据集进行光流提取，得到光流序列；

提取后每个微表情视频序列均对应一组光流序列；该组光流序列的维度是 d_f×w′×h′，d_f是光流序列的帧数，w′、h′分别是光流序列的帧的宽度与高度， w′＝w，h′＝h；

步骤3，建立基于注意力机制三维卷积微表情识别网络模型；