[发明专利]基于多运动特征融合的微表情识别方法及装置

权利要求书

1.一种基于多运动特征融合的微表情识别方法，其特征在于，所述微表情识别方法包括：

将目标人物的面部表情图像序列进行预处理；

通过多路卷积神经网络模型分别对预处理过的图像进行特征提取，并利用长短期记忆网络模型提取时序特征进行进行分类训练得到人脸识别模型进行目标图像中的人脸微表情识别。

2.根据权利要求1所述的微表情识别方法，其特征在于，将目标人物的面部表情图像序列进行预处理包括，

对所述图像序列进行人脸检测、人脸校准、面部区域裁剪、得到只包含面部区域的图像；对每一张图片进行以下四种变换：旋转、水平平移、垂直平移、水平翻转；

将所述图像序列进行插值，保证每段面部表情图像序列帧数相同。

3.根据权利要求1所述的微表情识别方法，其特征在于，将所述图像序列进行插值，保证每段面部表情图像序列帧数相同包括，

根据预置的序列化规则对面部表情图像处理得到对应的人脸图像序列；

根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别；

根据预置的轮廓提取模型得到每一所述表情类别的降噪表情图像；

根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值以保证每段面部表情图像序列帧数相同。

4.根据权利要求1所述的微表情识别方法，其特征在于，通过多路卷积神经网络分别对预处理过的图像进行特征提取，并利用长短期记忆网络提取时序特征进行识别包括，

通过多路卷积神经网络分别将人脸关键点特征图、光流特征图、光学应变图作为三条支路的输入数据，对图像特征进行提取得到静态卷积特征；

长短期记忆网络将提取到的所述静态卷积特征进行整合，得到所述静态卷积特征在时域上的信息，进而对所述时域上的信息进行分类训练得到人脸识别模型；

基于所述人脸微表情识别模型对目标图像进行人脸识别，得到目标图像中的人脸微表情。

5.根据权利要求4所述的微表情识别方法，其特征在于，在所有的卷积层之后，连接了一个包含256个神经元的全连接层，长短期记忆网络为单层的长短期记忆网络，输出维度为256，全连接层输出维度为128；将基于多分类的交叉熵损失作为目标函数，用Adam优化器对长短期记忆网络进行训练，学习率和衰减参数分别设为10^-4和10^-6。

6.根据权利要求4所述的微表情识别方法，其特征在于，人脸关键点特征图是基于人脸关键点变化生成的运动特征图，利用Dlib视觉库确定面部68个关键特征点，特征点主要分布在眉毛，眼睛，鼻子，嘴巴以及面部轮廓区域。

7.根据权利要求4所述的微表情识别方法，其特征在于，对光流特征图的提取是计算对所述预处理过的图像每一帧图像所对应的整体光流场，光流编码是以矢量符号表征图像运动或流动的方向和强度，光流的水平h和垂直分量v大小定义为

式中：dx和dy表示待估计的像素分别沿x和y维度的运动变化；dt表示时间的变化，光流的水平和垂直分量流程大小构成的光流强度大小m，对h、ν及m进行通道维度上的拼接，形成三通道的光流特征图。

8.一种基于多运动特征融合的微表情识别装置，其特征在于，所述微表情识别装置包括：

预处理模块，用于将目标人物的面部表情图像序列进行预处理；

识别模块，通过多路卷积神经网络模型分别对预处理过的图像进行特征提取，并利用长短期记忆网络模型提取时序特征进行进行分类训练得到人脸识别模型进行目标图像中的人脸微表情识别。

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。