[发明专利]一种基于注意力机制的三维卷积微表情识别算法

权利要求书

1.一种基于注意力机制三维卷积微表情识别网络模型的建立方法，其特征在于，包括以下步骤：

步骤1，采用自监督方法对微表情视频序列数据集进行光流提取，得到光流序列：提取后每个微表情视频序列均对应一组光流序列；

步骤2，建立基于注意力机制三维卷积微表情识别网络模型：

包括卷积层，池化层，Attention层，Co-Attention层，以及全连接层和分类器；

通过Attention层将步骤1的微表情视频序列与步骤1得到的光流序列分别经过视频序列特征提取与光流序列特征提取，得到视频序列特征向量和光流序列特征向量；

通过Co-Attention层将Attention层得到的视频序列特征向量和光流序列特征向量的相互引导并融合，得到联合特征向量；

将所述联合特征向量输入到全连接层进行微表情分类识别，得到微表情分类识别结果；

使用交叉熵函数作为该网络模型的损失函数，并使用Adam优化策略来训练网络模型学习，该网络模型是双流输入，训练时该网络模型的输入为步骤1的微表情视频序列和对应的得到的光流序列，输出是positive、surprise、negative和other中的其中一种。

2.如权利要求1所述基于注意力机制三维卷积微表情识别网络模型的建立方法，其特征在于，步骤1前需要对数据集进行预处理，该数据集包括多个微表情视频序列，每个微表情视频序列均由一组视频帧构成。

3.如权利要求1所述基于注意力机制三维卷积微表情识别网络模型的建立方法，其特征在于，所述步骤1预处理的方法依次包括：对数据集中的每个视频序列进行人脸剪裁、人脸对齐、视频序列帧数统一。

4.如权利要求1所述基于注意力机制三维卷积微表情识别网络模型的建立方法，其特征在于，步骤2中，通过视频序列特征向量和光流序列特征向量得到联合特征向量包括：先使用视频序列特征向量引导光流序列特征向量，得到引导之后的光流序列特征向量，再使用引导之后的光流序列特征向量引导视频序列特征向量，得到引导后的视频序列特征向量；

将引导后的光流序列特征向量与引导后的视频序列特征向量进行融合，得到联合特征向量。

5.一种基于注意力机制的三维卷积微表情识别方法，其特征在于，将待识别的微表情片段输入到权利要求1或2或3或4所述的网络模型中，得到微表情分类识别结果：positive、surprise、negative、other。

6.一种基于注意力机制的三维卷积微表情识别系统，其特征在于，该系统包括预处理模块以及权利要求1或2或3或4所述的基于注意力机制的三维卷积微表情识别网络模型；

所述预处理模块用于依次对待识别的微表情视频序列进行人脸剪裁、人脸对齐和视频序列帧数统一；

预处理后的待识别的微表情视频序列输入所述基于注意力机制三维卷积微表情识别网络模型用于进行待识别的微表情的分类识别。