[发明专利]视频图像序列中人脸微表情识别方法

说明书

本发明为视频图像序列中人脸微表情识别方法，该识别方法包括以下内容：在微表情视频图像序列预处理之后，根据微表情的实际发生机理划分图像分块并获得微表情的浅层运动信息和深层形状信息融合特征，通过光流的共现关系和AU的发生机制构建自注意力图卷积网络的邻接矩阵A，以分块为节点、以邻接矩阵为边，构建自注意力图卷积网络，最后利用自注意力图卷积网络完成微表情的分类识别。本方法克服了现有微表情识别方法对光照噪声的鲁棒性差，特征信息提取的不充分，对微表情实际发生机理研究不深入而导致的微表情识别率低的缺陷。

技术领域

本发明涉及用于识别图形的记录载体的处理技术领域，具体地说是视频图像序列中人脸微表情识别方法。

背景技术

人脸微表情识别属于情感识别的一类，是一种能够映射人类真实情感以及内在心理活动的非自发面部表情，持续时间仅为1/25秒至1/3秒，表达人试图隐藏和压抑的情感。微表情的情绪分类包括开心、悲伤、恐惧、惊讶、愤怒或厌恶等。微表情在情感分析、测谎、抑郁症辅助诊断等领域具有广泛应用，是计算机视觉领域研究的热点问题。

微表情识别方法分为三步：面部裁剪和预处理、特征提取和表情分类。第一步，通过去除背景噪声提取感兴趣的人脸区域。第二步，从预处理后的图像中提取特征。第三步，利用分类器进行分类。特征在任何分类系统中都具有重要作用，即使在最好的分类器下，不合格的特征同样会降低系统分类的性能，因此微表情识别的研究主要集中于如何构建具有判别性的特征。目前微表情识别研究主要集中于基于手工特征和深度特征。手工特征包括纹理和形状，纹理特征例如时空局部二值模式(以下简称LBP-TOP)方法及其变体等，应用于整个面部或特定的面部区域获得丰富的面部纹理信息以提取面部的外观变化，这些方法的缺点是受光照因素影响较大，只能提取微表情变化的浅层纹理信息。形状特征如主方向平均光流法(以下简称MDMO)等，可以获得丰富的像素运动信息，但是无法获得深层的语义信息。近年来，基于深度学习的方法，如卷积神经网络，已经用于微表情的识别问题。CNN和LSTM提取微表情的深度时空特征，可以获得微表情的深层语义信息且受光照等噪声影响较少，但是深度学习方法的研究仍然集中于特征的构建，忽略了面部表情的实际发生机理。CN105930878A公布了一种基于差分切片能量和稀疏编码的微表情识别方法，可以获得较详细的微表情运动特征，但是手工编码会带来计算复杂度和繁琐的过程。CN110348271A公开了一种基于长短时记忆网络提取微表情序列的特征，但提取到的特征具有单一性，都只考虑与微表情相关的一种特征，特征的判别性不足，特征提取不充分，丢失了一些重要的识别和分类信息。CN09034143A公开了基于视频放大和深度学习的微表情识别方法，放大了微表情的运动幅度但会引入噪声，影响微表情细微的运动变化。现有的微表情识别方法存在对光照鲁棒性差，局部信息提取的不充分，特征提取计算复杂，对微表情的实际发生机理不明确进而导致微表情的识别率低的缺陷。

发明内容：

本发明所要解决的技术问题是：提供视频图像序列中人脸微表情识别方法，是在微表情视频图像序列预处理之后，构建微表情的浅层运动信息和深层形状信息融合特征，结合AU建立图结构邻接矩阵，最后利用自注意力图卷积网络完成微表情的分类识别。本方法克服了现有微表情识别方法对光照噪声的鲁棒性差，特征信息提取的不充分，对微表情实际发生机理研究不深入而导致的微表情识别率低的缺陷。

本发明解决该技术问题所采用的技术方案是：

一种视频图像序列中人脸微表情识别方法，该识别方法包括以下内容：在微表情视频图像序列预处理之后，根据微表情的实际发生机理划分图像分块并获得微表情的浅层运动信息和深层形状信息融合特征，通过光流的共现关系和AU的发生机制构建自注意力图卷积网络的邻接矩阵A，以分块为节点、以邻接矩阵为边，构建自注意力图卷积网络，最后利用自注意力图卷积网络完成微表情的分类识别。

所述融合特征的获得过程是：