[发明专利]一种基于深度学习的微表情特征提取与识别方法

说明书

本发明提供一种基于深度学习的微表情特征提取与识别方法，包括以下步骤：构建基于关键帧的四层金字塔光流模型，输入微表情视频关键帧，获取光流特征；对微表情图像序列的三个正交平面提取LBP特征，将三个维度上得到的归一化特征梯度直方图级联成LBP‑TOP直方图向量；将光流特征转换为直方图，与图像序列的LBP‑TOP直方图向量进行级联融合，得到融合特征的直方图表示；构建基于残差模块的浅层CNN模型，引入宏表情数据集和微表情数据集，构建基于CNN‑GCN迁移学习网络的跨数据集微表情识别模型；将融合特征输入到训练好的基于CNN‑GCN迁移学习网络的跨数据集微表情识别模型中进行分类，获得微表情类型。该方法有效提高了微表情的识别精度。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于深度学习的微表情特征提取与识别方法。

背景技术

微表情是一种自发产生、较为细微的面部表情动作信号。与宏观表情信号不同，微表情不会随主观意志而改变，持续时间大约在1/25到1/5秒内，幅度较小，研究表明微表情可以反映出人们在压抑状态下的潜在真实情绪。由于微表情表现形式与说谎时的心理状态存在极大相关性，微表情识别在国家安全、临床医学、案件侦破、司法审讯等领域具有良好的应用前景。

在微表情特征提取方面，现有光流法主要是在亮度恒定、小幅度运动的假定条件下，利用像素在时空域的相关性，计算出光流场中图像运动信息的一种方法。由于光流法结合感兴趣区域(Region ofInterest,ROI)可以对应面部行为编码系统(Facial ActionCoding System,FACS)检测出表情动作变化，Liu等人提出主方向平均光流(MainDirectional Mean Optical-flow,MDMO)方法用于微表情特征提取，对不同ROI的方向平均电流进行归一化统计，将所得MDMO特征向量通过支持向量机(Support Vector Machine,SVM)进行分类识别，可有效降低特征维数。Lu等人提出一种基于运动边界直方图融合的特征提取方法，分别在水平和垂直方向计算其微分光流矢量，特征融合后通过LOSO协议进行验证和评估。以上方法对应用场景要求较为苛刻，需要进行相应修改以提升其泛化能力；另一方面，传统方法对图像序列进行直接光流计算，计算成本较大。

在分类模型方面，卷积神经网络可挖掘视觉图像深层特征，在多种图像分类数据集上有非常出色的表现。Liong等人提出了一种双加权定向光流方法(Bi-WOOF法)，仅使用视频中的峰值帧和起始帧进行特征提取，之后输入到二维CNN进行分类，取得了较好的结果。然而，由于微表情数据库样本数量不足等因素，上述模型存在着过拟合问题，且模型的准确率较低。

为此，本发明提出了一种新的基于深度学习的微表情特征提取与识别方法。

发明内容

为解决上述问题，本发明提供一种基于深度学习的微表情特征提取与识别方法。

本发明提供了如下的技术方案。

一种基于深度学习的微表情特征提取与识别方法，包括以下步骤：

构建基于关键帧的四层金字塔光流模型，输入微表情视频关键帧，获取光流特征；

对微表情图像序列的三个正交平面提取LBP特征，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量；

将光流特征转换为直方图，与图像序列的LBP-TOP直方图向量进行级联融合，得到融合特征的直方图表示；

构建基于残差模块的浅层CNN模型，引入宏表情数据集和微表情数据集，构建基于CNN-GCN迁移学习网络的跨数据集微表情识别模型；

将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中进行分类，获得微表情类型。

优选地，所述光流特征的获取，包括以下步骤：