[发明专利]基于增强CNN和跨层LSTM的表情识别系统与方法

说明书

本发明公开了一种基于增强CNN和跨层LSTM的表情识别系统与方法，系统包括特征增强CNN模块、跨层LSTM模块和全连接层，特征增强CNN模块与跨层LSTM模块级联进行端到端训练；特征增强CNN模块在骨干CNN网络的中间层引出一条特征增强支路，并将特征增强支路的输出与骨干CNN网络的输出融合；跨层LSTM模块在至少两层LSTM网络级联的基础上，将特征增强CNN模块的输出输入到第一层LSTM网络，同时将特征增强CNN模块的输出跨接到后层LSTM网络的输入端。本发明有助于获取准确的视频序列表情时间信息，有效提高非约束人脸表情识别的准确率，在人机交互、智慧教育、病人监护等领域具有广大应用前景。

技术领域

本发明涉及表情识别技术领域，具体涉及一种基于增强CNN和跨层LSTM的表情识别系统与方法。

背景技术

人脸表情包含丰富的情感信息，是人类情绪表达的重要方式之一，也是人们进行非语言情感交流的有效手段。人们可以通过面部表情表达自己的情感，也可以准确辨认出对方的内心情感变化。因此，对人脸表情进行准确识别具有重要的研究价值和应用前景，是近年来人工智能领域的研究热点。

人脸表情识别系统一般包括图像预处理、人脸检测与人脸区域分割、表情特征提取和表情分类四个步骤，其中，表情特征提取和表情分类是系统实现的两个关键步骤。常用的传统人脸表情特征提取方法有LBP、HOG、SIFT、Gabor以及它们的改进算子，常用的传统分类器有支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest，RF)、高斯过程(Gaussian Process，GP)、隐马尔可夫模型(Hidden Markov Model，HMM)等等。

然而，随着人脸表情识别在实际应用中的需求越来越广泛，进行测试的人脸表情数据库逐渐从简单的实验环境采集的数据库(人脸图像是正面、无遮挡的，且受试者根据要求夸张的表现情感)转向复杂的真实环境采集的数据库(人脸图像受真实环境光照、姿态变化、遮挡、配饰等多种因素混合干扰，且受试者自然的表现情感，情感表现程度各不相同)，这导致传统机器学习算法难以胜任复杂多变的非约束人脸表情识别。因此，具有强大学习能力的深度神经网络逐渐被应用在非约束人脸表情识别中，并取得了令人瞩目的效果。例如，MayyaV等人采用DCNN网络自动识别人脸表情；ConnieT等人采用混合CNN-SIFT网络提高人脸表情识别准确率；Bargal等人采用VGG13、VGG16、Resnet三个不同的网络提取表情图像的特征，并将特征融合使用支持向量机SVM实现分类；梁等人提出自适应Gabor卷积核编码网络的表情识别方法，对传统的Gabor核进行改进，提高了识别率。

上述方法是基于静态单帧图像的，与其相比，视频序列能够表达更丰富的表情变化信息，能够更精确地反映一个完整表情的运动过程，因此，基于视频序列的人脸表情识别研究更有实用价值，也更具有挑战性。Zhao等人提出了一种基于peak-piloted的表情识别方法(PPDN)，使用峰值表情样本来监督相同类型的非峰值表情样本的中间特征变化，实现表情强度不变性；Yu等人提出了一种更深的级联peak-piloted的弱表情识别方法(DCPN)，增强了特征的辨别力，同时采用级联微调的方法避免过拟合；Jung等人提出了基于两种不同模型的联合微调网络(DTAGN)，其中一个深度网络从视频序列中提取时间变化特征，另一个网络从单帧图像面部关键点提取几何形态变化特征，从而提高了视频序列的人脸表情识别的精度。

目前，常用于视频序列非约束表情识别的方法是结合CNN和长短期记忆(longshort-term memory，LSTM)网络对视频中人脸表情的时空变化进行建模。为了获得较好的识别结果，一般需用深层CNN网络提取空间信息，用多层LSTM网络级联获取时间信息。这会导致，一方面增加了网络的计算开销，另一方面也会出现因网络层数加深而造成的梯度消失问题。

综上，虽然人脸表情识别已经取得了一定的成果，但仍存在一些不足：