[发明专利]基于动作放大和自适应注意力区域选取的微表情分类方法

说明书

本发明涉及一种基于动作放大和自适应注意力区域选取的微表情分类方法。首先获取微表情数据集，提取出起始帧和峰值帧；然后将提取的起始帧和峰值帧输入动作放大网络，生成动作放大后的图像；接着对放大后的图像进行预处理；最后利用自适应注意力区域选取方法对预处理后的图像进行识别，得到最终分类的结果。

技术领域

本发明涉及模式识别与计算机视觉领域，特别是一种基于动作放大和自适应注意力区域选取的微表情分类方法。

背景技术

人身为最高等的动物，有时候会伪装或者掩藏自己的情感，这种情况下，人们并不能从人脸面部的宏观表情中获取到有用的信息。为了能够从伪装的人脸表情中挖掘出有用的信息，埃克曼发现了一种短暂的、不自觉的、快速的面部情绪，即微表情，在人们试图隐藏某种真实的情绪时，它会被激发出来，不自觉地显现在人脸上。一个标准的微表情持续1/5到1/25秒，通常只出现在脸部的特定部位。

微表情在国家安全，犯罪审讯，以及医疗应用方面有着巨大的前景，但是微表情的微妙和简洁对人类的肉眼构成了巨大挑战，因此，近年来人们提出了许多利用计算机视觉和机器学习算法来实现微表情自动识别的工作。

发明内容

本发明的目的在于提供一种基于动作放大和自适应注意力区域选取的微表情分类方法，能够有效地对微表情图像进行分类。

为实现上述目的，本发明的技术方案是：一种基于动作放大和自适应注意力区域选取的微表情分类方法，包括如下步骤：

步骤S1、获取微表情数据集，提取出起始帧和峰值帧；

步骤S2、将提取的起始帧和峰值帧输入动作放大网络，生成动作放大后的图像；

步骤S3、对放大后的图像进行预处理，根据LOSO原则划分训练集和测试集；

步骤S4、利用自适应注意力区域选取方法对预处理后的图像进行识别，得到最终分类的结果。

在本发明一实施例中，所述步骤S1具体包括如下步骤：

步骤S11、获取微表情数据集，进行人脸对齐后将图像剪裁成224*224大小的图像；

步骤S12、对于自带起始帧和峰值帧标注的微表情数据集，直接根据标注内容提取出起始帧和峰值帧；

步骤S13、对于未自带起始帧和峰值帧标注的微表情数据集，利用帧差法提取出视频序列的起始帧和峰值帧；帧差法的方式为：令P＝{p_i},i＝1,2,...表示输入的图像序列，其中p_i表示第i个输入的图像，令序列首帧为起始帧，即p_start＝p₁，将视频序列的首帧和第n帧对应像素的灰度值记为f1(x,y)、fn(x,y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn，Dn(x,y)＝|fn(x,y)-f1(x,y)|，计算差分图像的平均帧间差分Dnavg，计算方法如下：

其中，Dn.shape[0]表示差分图像Dn的高度，Dn.shape[1]表示差分图像Dn的宽度，计算出除起始帧以外的所有帧和起始帧的平均帧间差分并排序，平均帧间差分最大的帧即为该图像序列对应的峰值帧p_apex。

在本发明一实施例中，所述步骤S2具体包括如下步骤：

步骤S21、设计编码器对起始帧p_start和峰值帧p_apex进行形状和纹理特征的提取，编码器由卷积层和ResBlock组成，令T(·)表示编码器纹理特征提取模块函数，则t＝T(p)，其中t＝{t_start|apex}表示输入帧的纹理特征，令S(·)表示编码器形状特征提取模块函数，则s＝S(p)，其中s＝{s_start|apex}表示输入帧的形状特征；