[发明专利]基于多层次特征联合的微表情识别方法及系统

说明书

本公开公开了基于多层次特征联合的微表情识别方法及系统，包括：获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；对起始帧和峰值帧分别提取面部区域图像；基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。

技术领域

本公开涉及计算机视觉技术领域，特别是涉及基于多层次特征联合的微表情识别方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

微表情是人们在试图隐藏真实情感时无意识地做出的一种短暂的面部表情，它通常出现在人们处于危急的情况下。微表情和宏表情不同的是，微表情发生时间短而迅速，面部部位变化不明显，但它通常能够反映人们内心的真实情感。因此，微表情识别在心理和临床诊断、情绪分析、刑事侦查、国防安全等领域有着广泛的应用。

微表情识别是一项非常困难的工作，原因如下：从微表情的持续时间分析，持续时间很短，一个标准的微表情持续时间最短1/25秒最长不超过1/5秒；在空间场中，它只出现在人脸的特定部位，且变化强度十分微弱；现有的特征检测方法只对变化明显的部分敏感，对局部变化较轻微的部位检测存在一定的困难；对于现有的自发的微表情数据集而言，样本数量少且不同类别样本的数目相差较大，存在分类任务中的类别不均衡问题。因此，微表情识别是一项非常具有挑战性的工作。发明人发现目前，微表情识别方法主要分为传统方法和深度学习方法。

在传统方法中，特征提取和分类是分开操作的，先进行特征提取，再进行分类操作。特征提取常用的方法包括：基于梯度特征的提取方法、基于运动特征的提取方法以及基于纹理特征的提取方法。分类常用的方法包括：SVM分类器、随机森林以及隐马尔科夫模型等。传统方法提取特征方式复杂，需要手动设计特征描述子，由于微表情的运动是局部性的，因此传统特征提取方法也很难完全捕捉面部的微弱变化，同时，特征的计算量较大，而且分类器的选择对分类性能的影响很大。

在深度学习方法中，研究者们设计各种基于卷积运算的网络模型，可以分为2D卷积神经网络和3D卷积神经网络。深度学习方法通过交替的卷积、池化等操作自动提取特征，不需要手动设计特征描述子，而且特征提取和分类是不需要分开操作的。虽然深度学习方法在人脸识别、表情识别等众多领域表现出强大的优越性。但是，深度学习的方法往往需要大量的训练数据来学习优化分类模型，对于微表情分析领域中现存的小规模数据集来说，使用深度学习进行微表情识别仍具有很大的挑战性。

发明内容

为了解决现有技术的不足，本公开提供了基于多层次特征联合的微表情识别方法及系统；解决传统方法中提取特征过程过于繁琐、效率低下的问题和深度学习方法中由于数据集样本数目少导致网络过拟合以及随着网络加深微弱特征信息损失导致微表情识别精度不高的问题。

第一方面，本公开提供了基于多层次特征联合的微表情识别方法；

基于多层次特征联合的微表情识别方法，包括：

获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；

对起始帧和峰值帧分别提取面部区域图像；

基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；

将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。

第二方面，本公开提供了基于多层次特征联合的微表情识别系统；

基于多层次特征联合的微表情识别系统，包括：