[发明专利]基于时空外观运动注意力网络的微表情识别方法

权利要求书

1.一种基于时空外观运动注意力网络的微表情识别方法，该方法包括以下内容：

对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列；

构建时空外观运动网络，它包括时空外观网络STAN和时空运动网络STMN，STAN和STMN都采用CNN-LSTM的结构进行设计，先用CNN模型学习微表情的空间特征，再用LSTM模型学习微表情的时间特征；

STAN的CNN模型包括卷积计算、池化操作、高低层特征融合三部分，卷积计算包括多个卷积块，每个卷积块包括一个卷积层、一个批标准化BN层和一个ReLU激活函数；在每个卷积块之后连接一个最大池化层；高低层特征融合是在第一个池化层和最后一个池化层之后分别通过一个1×1卷积核的卷积层和一个全局平均池化(Global Average Pooling，GAP)层，分别获得全局的低层特征和高层语义特征，最后将全局的低层特征和高层语义特征通过级联的方式实现融合，得到描述微表情序列帧的外观信息的空间特征向量；

STMN的CNN模型包括卷积计算、池化操作和GAP三部分，卷积计算包括多个卷积块，每个卷积块由一个卷积层、一个批标准化层和一个ReLU激活函数构成，在每个卷积块之后连接一个最大池化层，进行下采样，经过卷积计算和池化操作后，提取到微表情不同的局部特征，最后，通过GAP整合这些特征，得到描述微表情序列帧的运动信息的空间特征向量；

将描述微表情序列帧的外观信息的空间特征向量和描述微表情序列帧的运动信息的空间特征向量输入到各自的单层的LSTM(长短期记忆网络)中，学习帧与帧之间的相关性，得到描述微表情序列外观信息的时空特征向量和描述微表情序列运动信息的时空特征向量，之后，通过一个全连接层，将特征空间通过线性变换映射到样本标记空间，最后使用Softmax函数将多个神经元的输出，映射到(0,1)区间，分别得到属于每个微表情类别的概率值组成的特征向量；

在STAN和STMN的CNN模型中均引入分层卷积注意力机制，STAN和STMN的CNN模型的低层网络均提取包含微表情的纹理、边缘、轮廓的低层视觉信息，高层网络均提取抽象的高层语义特征信息，根据高低层网络特征之间的差异性，在低层网络上应用多尺度核空间注意力机制应用不同的注意力机制，有效差异化空间维度的每个像素点，在高层网络上应用全局双池化通道注意力机制，模型自动获取每个特征通道的贡献度，按贡献度提升有效特征同时抑制对微表情识别贡献小的特征，进行自适应的特征细化；

至此，分别获得添加注意力机制的STAN网络和添加注意力机制的STMN网络；

将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练，将添加注意力机制的STAN网络和添加注意力机制的STMN网络的输出结果通过特征级联-SVM进行集成实现微表情识别任务，至此获得时空外观运动注意力网络；

将训练好的时空外观运动注意力网络用于微表情识别。

2.根据权利要求1所述的识别方法，其特征在于，所述分层卷积注意力机制为在STAN和STMN的CNN模型的低层网络上应用多尺度核空间注意力机制，高层网络上应用全局双池化通道注意力机制：

多尺度核空间注意力机制是指对输入的特征图用不同尺度的卷积核分别进行卷积操作，在不同的感受野下提取多尺度特征，获得不同尺度的空间特征矩阵，再通过级联的方式对不同尺度的空间特征矩阵进行融合，再通过卷积操作获得有效空间特征信息，用Sigmoid函数进行归一化后得到空间注意力权重值，空间注意力权重值是模型自适应学习到的空间中每个像素点的权重值，将空间注意力权重值与输入的特征图相乘，获得细化的空间注意力特征图；

全局双池化通道注意力机制是指对输入的特征图先在空间维度上使用GAP和全局最大池化(Global Max Pooling，GMP)聚合特征图的空间信息，获得全局平均池化特征向量和全局最大池化特征向量，之后，应用两个连续的全连接层，进行自适应的参数调整，学习不同通道之间的相关性和依赖关系，经过全连接层之后，获得两个有效的通道特征向量，再通过元素相加的方式将两个有效的通道特征向量进行合并，用Sigmoid函数进行归一化处理后得到通道注意力权重值，通道注意力权重值是模型自适应学习到的每个特征通道的权重值，将通道注意力权重值和输入特征图相乘，得到细化的通道注意力特征图。