[发明专利]基于融合深度特征的微表情识别方法

说明书

本申请涉及基于融合深度特征的微表情识别方法，包括：输入微表情视频文件，得到仅包含人脸的微表情帧序列；对微表情序列归一化和灰度化，得到微表情预处理序列；掩盖微表情预处理序列中不活跃的区域，得到微表情活跃帧序列；使用光流法对微表情活跃帧序列的相邻帧提取光流，得到光流序列；构建能够提取微表情活跃帧序列特征和光流序列特征的深度神经网络模型，将所述微表情活跃帧序列特征和光流序列特征融合得到用于识别微表情的特征；将微表情活跃帧序列以及光流序列作为深度神经网络模型的输入，对深度神经网络模型进行学习优化；将待测试的视频文件经过上述步骤后，送入学习优化后的深度神经网络模型提取特征进行微表情识别。

技术领域

本申请涉及图像识别处理领域，尤其涉及基于融合深度特征的微表情识别方法。

背景技术

面部表情是人们在交流过程中信息传递的主要方式之一。相对于宏表情，微表情持续时间短，面部肌肉变化幅度小，其往往是在高压环境下试图隐藏自己情感而无意识流露出来的真实情感。因此微表情具有很大的应用价值，比如警方审讯、医疗辅助、国防安全等领域，但是即使经过专业训练的人员，也无法达到很好的识别效果，相关文献表明只有47%的准确率。随着计算机技术的发展，利用计算机对微表情进行识别的优势得以体现，理论上，无论变化多迅速只要能被摄像机捕获，就能存储下来不断分析，此外，只要得到稳定的微表情识别模型，就能大大的降低人工成本。

现有的微表情识别技术有传统手工特征和深度学习两种，传统手工特征包括LBP-TOP、MDMO等，这些方法需要依靠个人经验设计特征提取算子，且得到是浅层特征，使得结果往往不是最优的。随着深度学习在宏表情上取得了成功，神经网络也被引用到微表情识别中，因此本专利结合神经网络对微表情进行识别。

申请公布号CN 111652159 A开公开了基于多层次特征联合的微表情识别方法及系统，包括：获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；对起始帧和峰值帧分别提取面部区域图像；基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。

申请公布号CN 111738160 A公开了视频微表情识别方法、装置、计算机设备及存储介质，涉及人工智能的生物识别，包括获取用户视频数据中包含微表情的图像帧；在包含微表情的图像帧中获取与经验帧数值相等张数的连续多帧图像，以组成微表情序列；调用权重计算层计算微表情序列中每一帧图像的结合权重值的图像特征向量；将每一帧图像的结合权重值的图像特征向量进行求和，得到对应的综合图像特征向量；将其输入至卷积神经网络得到微表情识别结果；调用事项处理微表情策略，获取对应的事项处理流程信息。实现了采用神经网络在进行微表情分类时充分考虑到微表情在多个连续图像帧之间的时序关系，学习到微表情在图像视频序列中的时域信息，从而更准确获取微表情识别结果。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种基于融合深度特征的微表情识别方法，包括：

S1：输入微表情视频文件，得到仅包含人脸的微表情帧序列；

S2：对所述微表情帧序列归一化和灰度化，得到微表情预处理序列；

S3：掩盖微表情预处理序列中不活跃的区域，得到微表情活跃帧序列；

S4：使用光流法对微表情活跃帧序列的相邻帧提取光流，得到光流序列；

S5：构建能够提取微表情活跃帧序列特征和光流序列特征的深度神经网络模型，将所述微表情活跃帧序列特征和光流序列特征融合得到用于识别微表情的特征；将微表情活跃帧序列以及光流序列作为深度神经网络模型的输入，对深度神经网络模型进行学习优化，得到学习优化后的深度神经网络模型；

S6：将待测试的视频文件经过步骤S1、S2、S3和S4后，送入所述学习优化后的深度神经网络模型提取特征进行微表情识别。