[发明专利]基于时空外观运动注意力网络的微表情识别方法

说明书

本发明为基于时空外观运动注意力网络的微表情识别方法，该方法包括以下内容：对微表情样本进行预处理，得到固定帧数的原始图像序列和光流序列；构建时空外观运动网络，它包括时空外观网络STAN和时空运动网络STMN，STAN和STMN都采用CNN‑LSTM的结构进行设计，先用CNN模型学习微表情的空间特征，再用LSTM模型学习微表情的时间特征；在STAN和STMN的CNN模型中均引入分层卷积注意力机制，在低层网络上应用多尺度核空间注意力机制，在高层网络上应用全局双池化通道注意力机制，分别获得添加注意力机制的STAN网络和添加注意力机制的STMN网络；将原始图像序列输入到添加注意力机制的STAN网络中进行训练，将光流序列输入到添加注意力机制的STMN网络中进行训练，将二者的输出结果通过特征级联‑SVM进行集成实现微表情识别任务，提高微表情识别的准确率。

技术领域

本发明的技术方案涉及微表情识别图像数据处理，具体地说是基于时空外观运动注意力网络的微表情识别方法。

背景技术

微表情是一个人试图隐藏自己内心真实情感却不由自主流露出的难以察觉的面部表情，具有快速、自发、无意识的特点。微表情的持续时间短、强度低，通常持续1/25s-1/5s，并且微表情引起的肌肉运动只出现在面部很小的区域，因此正确理解并识别微表情有着一定的难度，这在一定程度上限制了微表情识别的性能。近年来涌现出大量利用计算机视觉技术的算法进行微表情自动识别，极大地提高了微表情的应用可行性。微表情识别在警察讯问、临床诊断、抑郁分析、测谎、商务谈判、教学辅助、刑事侦查等领域有着广泛的应用前景。

设计一个健壮的特征描述符有效提取特征是微表情识别的关键所在。LBP-TOP(Local Binary Pattern with Three Orthogonal Planes)是一种经典的纹理特征提取方法，但还存在敏感性和稀疏采样的问题，因此出现了它的多种改进方法，如LBP-SIP(LocalBinary Pattern with Six Intersection Points)、STLBP-IP(Spitiotemporal LocalBinary Pattern with Integral Projection)、STCLQP(Spitiotemporal CompletedLocal Quantized Patterns)等，这些方法一定程度上提高了特征描述符的鲁棒性。基于光流的方法也常用于微表情识别，MDMO(Main directional mean optical flow feature)、FDM(Facial Dynamics Map)、Sparse MDMO、Bi-WOOF(Bi-Weighted Oriented OpticalFlow)等方法用光流场描述微表情的运动变化信息。这些传统的微表情识别方法过分依赖于繁琐的手工特征设计，自动的从细微的变化中提取有用的信息并进行高质量的特征描述仍然具有挑战性。近年来，深度卷积神经网络(Convolutional Neural Networks，CNNs)，长短期记忆网络(Long Short-Term Memory，LSTM)在很多领域显示出强大的能力。基于深度学习的微表情识别方法主要有两种基本结构，第一种是两步顺序模型，典型方法如CNN-LSTM，先用CNN模型提取所有帧的空间特征，再将其输入到LSTM模型中提取微表情序列时域上的动态信息，第二种是同时提取微表情序列时空特征信息的模型，如经典模型3DConvNets。