[发明专利]基于多运动特征融合的微表情识别方法及装置

说明书

本发明实施例提供了一种基于多运动特征融合的微表情识别方法及装置、电子设备和存储介质，所述微表情识别方法，通过将目标人物的面部表情图像序列进行预处理；通过多路卷积神经网络模型分别对预处理过的图像进行特征提取，并利用长短期记忆网络模型提取时序特征进行进行分类训练得到人脸识别模型进行目标图像中的人脸微表情识别。采用卷积神经网络和长短期记忆网络模型结合的方式，通过前面的卷积网络层来提取微表情的静态特征，省去了传统机器学习方法，需要人工提取特征的过程，简化了特征提取的工作，能够准确的识别微表情。

技术领域

本发明的实施例涉及计算机辅助设计技术领域，尤其涉及一种基于多运动特征融合的微表情识别方法及装置、电子设备和存储介质。

背景技术

利用甚高精度实时摄影测量技术对获取的人体立体影像进行实时计算，分析每一立体帧影像每一个像素点的空间变化，根据影像类生物统计分析技术，可以在非接触条件下检测人体神经和肌肉微运动，从而实现人体实时心理环境的探测，具有检测时间短、无需被测人员配合、量测精度高、探测数据丰富。

微观影像学方法基于实时测量的生理参数的处理(即通过测量图像中的振动获得生物体头部的运动参数)来确定一组人的生理特征。将微表情所含有的信息量进行有效的利用，则可以有效进行反恐。目前，常见的微表情识别技术大多是基于微表情识别模型进行的，但是由于微表情识别模型需要大量标注过人脸微表情的图像进行训练，而人脸微表情的图像标注过程需要心理学专业人员进行标注，且标注的误差较大，导致微表情识别模型识别准确率不高的问题。

发明内容

本发明的实施例提供了一种基于多运动特征融合的微表情识别方法及装置、电子设备和存储介质，提高微表情识别的准确率。

第一方面，本发明的实施例提供了一种基于多运动特征融合的微表情识别方法，所述微表情识别方法包括：

将目标人物的面部表情图像序列进行预处理；

通过多路卷积神经网络模型分别对预处理过的图像进行特征提取，并利用长短期记忆网络模型提取时序特征进行进行分类训练得到人脸识别模型进行目标图像中的人脸微表情识别。

可选地，将目标人物的面部表情图像序列进行预处理包括，

对所述图像序列进行人脸检测、人脸校准、面部区域裁剪、得到只包含面部区域的图像；对每一张图片进行以下四种变换：旋转、水平平移、垂直平移、水平翻转；

将所述图像序列进行插值，保证每段面部表情图像序列帧数相同。

可选地，将所述图像序列进行插值，保证每段面部表情图像序列帧数相同包括，

根据预置的序列化规则对面部表情图像处理得到对应的人脸图像序列；

根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别；

根据预置的轮廓提取模型得到每一所述表情类别的降噪表情图像；

根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值以保证每段面部表情图像序列帧数相同。

可选地，通过多路卷积神经网络分别对预处理过的图像进行特征提取，并利用长短期记忆网络提取时序特征进行识别包括，

通过多路卷积神经网络分别将人脸关键点特征图、光流特征图、光学应变图作为三条支路的输入数据，对图像特征进行提取得到静态卷积特征；

长短期记忆网络将提取到的所述静态卷积特征进行整合，得到所述静态卷积特征在时域上的信息，进而对所述时域上的信息进行分类训练得到人脸识别模型；

基于所述人脸微表情识别模型对目标图像进行人脸识别，得到目标图像中的人脸微表情。