[发明专利]基于混合特征增强网络的动态序列非约束表情识别方法

说明书

本发明公开了基于混合特征增强网络的动态序列非约束表情识别方法，涉及面部表情识别技术领域，包括如下步骤，步骤1、对人脸表情视频数据进行人脸检测，截取人脸ROI区域，去除背景干扰，得到动态序列人脸表情数据；步骤2、将动态序列人脸表情数据以N帧为一组的分为多组序列，并对多组序列进行分析，提取它们的表情特征，且每组序列之间有N/2帧图像重叠；步骤3、将每组的N帧图像顺序输入单帧特征增强CNN网络和多帧特征增强自注意网络，得到N个2048维特征向量。本发明有效提高了动态序列面部表情特征的判别能力，缩小了非约束表情数据的类内差距；本发明提出的浅层特征增强模块通过增加网络宽度提高表情特征的判别能力，而且有效降低了计算复杂度。

技术领域

本发明涉及面部表情识别技术领域，特别是涉及基于混合特征增强网络的动态序列非约束表情识别方法。

背景技术

近年来随着人脸表情识别在实际应用中的需求越来越广泛，研究对象逐渐从实验室约束表情识别转向真实非约束表情识别，经历了从实验室摆拍到真实自发表达，从长时间持续的夸张表情到瞬时出现的微表情，从基础表情分类到复杂表情分析的巨大变化。这导致传统的人脸表情识别方法已不能胜任，具有强大学习能力的深度非约束表情识别网络快速发展，并取得了令人瞩目的效果。

现有的深度非约束表情识别网络主要分为两大类：基于静态图片的识别网络和基于动态序列的识别网络。相比于静态识别网络，基于动态序列的深度非约束表情识别网络能够实时的、更加精确地捕获人类情绪状态所映射的面部表情变化信息，具有更加广泛的应有前景和实用价值。

但在实际应用中，由于真实自发表情的复杂性，年龄、性别等个体属性的差异性，以及光照、姿态、遮挡等非约束环境影响，采集的面部动态表情数据量少、数据标准难、质量参差不齐，这些因素均导致现有的动态非约束表情识别系统远未达到实用化程度，系统性能仍有很大提升空间。

发明内容

本发明的主要目的是为了提供基于混合特征增强网络的动态序列非约束表情识别方法，从单帧和多帧两个角度分别进行特征增强，用以克服真实人脸表情数据中的个体属性差异和非约束环境干扰，达到减少数据类内差距，提高非约束表情特征判别能力的目的。

本发明的目的可以通过采用如下技术方案达到：

基于混合特征增强网络的动态序列非约束表情识别方法，包括如下步骤

步骤1、对人脸表情视频数据进行人脸检测，截取人脸ROI区域，去除背景干扰，得到动态序列人脸表情数据；

步骤2、将动态序列人脸表情数据以N帧为一组的分为多组序列，并对多组序列进行分析，提取它们的表情特征，且每组序列之间有N/2帧图像重叠；

步骤3、将每组的N帧图像顺序输入单帧特征增强CNN网络和多帧特征增强自注意网络，得到N个2048维特征向量；

步骤4、将N个2048维特征向量相加，得到最终的2048维人脸表情深层特征，再经过两层全连接层将其映射到样本标记空间，实现面部表情分类；

步骤5、计算出同一个视频的多组序列所属表情的概率值，其中最大平均概率值对应的表情类别即为最终的识别标签；

步骤3中的单帧特征增强CNN网络采用VGG16网络作为单帧特征增强CNN网络的骨干网络，所述VGG16网络上设有浅层特征增强模块以及深层特征增强模块，且所述浅层特征增强模块和深层特征增强模块各自输出的特征相融合，用于获取不同层次的人脸表情空间信息；

所述浅层特征增强模块包括有并行使用的2个1*1卷积模块和2个3*3卷积模块。

优选的，步骤3具体包括

步骤3.1、向单帧特征增强CNN网络连续输入N帧图像，得到该N帧图像对应的特征向量x₁,x₂,...,x_N，且每个特征向量的维度为2048；