[发明专利]一种鲁棒的基于深度学习的连续情绪跟踪方法

说明书

本发明涉及一种鲁棒的基于深度学习的连续情绪跟踪方法，其步骤为：1)构建训练样本并训练归一化模型和连续情绪跟踪模型；2)获取表情图像并进行预处理，将预处理完成的表情图像送到训练好的归一化模型，得到标准光照和标准头部姿态的表情图片；3)将归一化后的标准图像作为连续情绪跟踪模型的输入，连续情绪跟踪模型自动提取输入表情相关的特征并根据时序信息产生当前帧的跟踪结果；重复步骤2)‑3)直至完成整个连续情绪跟踪流程。本发明采用基于深度学习的方法构建情绪识别模型实现连续情绪跟踪和预测，能够对光照和姿态变化具有鲁棒性，而且能够充分利用表情表达的时序信息，基于历史情绪特征更稳定地跟踪当前用户的情绪。

技术领域

本发明涉及人机交互、图像处理、人工智能领域，具体涉及一种鲁棒的基于深度学习的连续情绪跟踪方法。

背景技术

情感意图理解的目的是通过赋予计算机识别、理解、认知人的情感的能力,从而使计算机具有更高的类人智能，提供更加自然的人机交互体验。随着计算机设备、网络摄像头等设备的普及，使得基于视觉通道的情绪识别成为分析用户情绪最有效的手段。

目前大多数情绪识别方法将情绪分为几个基本类别，如高兴、愤怒、悲伤、惊讶等，这样就将情绪识别问题转化为分类问题，然后通过精心设计的人工特征提取方法，从二维表情图片上提取出包含基于纹理或者几何的情绪特征用于情绪分类。二维表情特征提取实现简单，可以从表情图片上直接提取，因此被广泛应用于情绪识别算法中。

基于分类的情绪识别由于情绪类别的急剧变化会导致计算机对用户的反馈产生突变，大大降低用户体验。考虑到人自然情绪表达的连续性，采用基于维度空间的连续情感模型PAD来描述人的情绪能更细致反应情绪变化以及趋势。此外，基于图片的二维表情特征在处理头部姿态变化、面外翻转时准确率会急剧下降，变得不稳定，为了克服这些问题，一些基于三维特征的情绪跟踪算法被提出，这些算法利用三维几何特征或者深度特征来对用户的三维头部信息进行恢复，从恢复后的三维头部信息来估计用户情感及其变化，但存在算法复杂及获取深度信息设备限制的问题。

区别于传统的基于视觉的情绪识别方法，采用深度学习的方法模拟人脑的分层模型，通过把原始图像数据通过一些非线性变换转变成为更高层次的、更加抽象的表达，可以自动提取比大多手工特征更具有区分性的特征。专利“一种基于深度学习的人脸表情识别方法”(公开号：CN103793718A)公开了一种使用DBN在二维图片上学习情绪特征并进行分类，该方法在实验中取得了很好的效果，但由于没有对表情图片的光照和姿态进行处理，而且识别中逐帧处理没有考虑表情的时序特征，影响其在实际应用时的鲁棒性。

发明内容

针对上述问题，本发明提出一种鲁棒的基于深度学习的连续情绪跟踪方法，能够处理情绪跟踪过程中光照和头部姿态变动，自动学习情绪在特征空间的表达，利用时域信息在连续情感空间里对情绪进行鲁棒跟踪。

为达到上述目的，本发明采取的具体技术方案如下：

一种鲁棒的基于深度学习的连续情绪跟踪方法，该方法包括：表情模型训练步骤和在线连续表情跟踪步骤。其中表情模型包括归一化模型和连续情绪跟踪模型。

所述归一化模型的训练步骤包括：

S1,构建包含不同光照和姿态的人脸表情数据库；

S2,将每张表情图片进行预处理，同一个人不同光照和姿态的表情图像与标准光照和标准姿态图像两两构成一个训练样本；