[发明专利]一种基于多特征多任务字典稀疏迁移学习的微表情识别方法

说明书

本发明涉及一种基于多特征多任务字典稀疏迁移学习的微表情识别方法，包括训练阶段和测试阶段。本专利通过投影的方式将宏表情和微表情投影到公共空间内，并且为了简化计算，提高效率，对投影后的数据进行稀疏字典表示；为了进一步缩小两个域的数据差距，考虑将两个域的字典进行彼此之间的重构从而实现了字典的关联性，这样使得投影后的稀疏表示矩阵产生了更大的相关性；为了充分表现微表情的特点，本发明对微表情提取四种不同的特征，通过多特征选择最优组合；为了能凸显出微表情的细节表现，本发明引入多任务的思想，进一步提升了识别效果。

技术领域

本发明涉及一种基于多特征多任务字典稀疏迁移学习的微表情识别方法，属于模态识别以及机器学习的技术领域。

背景技术

微表情是人们在抑制状态下或者试图隐藏真实情感时泄露的一种时间极短、不由自主的面部表情。1966年，Haggard和Issacs首次发现了这种细微的表情。传统意义的人脸表情(我们称之为宏表情)具有较大的修饰性，一个正常的成年人可以在经过大脑思考之后再呈现出令他满意的表情，而微表情是电光火石之间不经意流露出来的表情，是一个人最真实的情感泄露，因此很难经过大脑的“筛查”，所以微表情更容易暴露一个人的真正内心活动，由于微表情存在该特点，其被认定是一种可靠的侦测谎言的线索。虽然微表情概念提出较早，但是由于其自身特点一直难以被捕捉、量化，因此在相当长的时间内，微表情的研究缓慢而平淡。2002年，微表情研究取得了巨大进展，Ekman等人开发了微表情训练工具(Micro Expression Training Tool，METT)，该工具提供了微表情训练模式，并将微表情分为常见的七种分类，该工具有效的提高了微表情识别能力。随着人脸表情算法的进步，微表情的研究工作取得了长足的进步。

随着微表情研究的深入开展，微表情识别技术取得了长足的进步。目前的识别方法主要分为两类：1.应变模式方法；2.机器学习类方法。应变模式方法主要是关注面部肌肉的应变响应，Godavarthy等人提出了一种计算连续帧之间的光流阈值方法来检测微表情，通过计算各帧域中性表情帧的光流域光流应变值来判断是否满足微表情；Shreve团队将人脸图像进行区域分割并且结合光流法，使用局部阈值策略计算每个区域的细微变化。机器学习方法主要有分类和聚类方法。吴等通过采用Gabor滤波器，选择使用Gentleboost算法，使用SVM分类器识别微表情；Polikovsky等人将人脸划为12个感兴趣域，提取各个区域的三维梯度方向直方图作为描述子，用局部的直方图描述特征。

传统的机器学习中，为了能得到较好的预估结果，要有两个基本要素：第一是预测数据和训练数据满足同分布；第二要有足够数量的样本数量。但在实际问题解决中，这两个条件几乎很难同时满足。在新环境下，新数据呈现了独有的特性，这导致了以往的数据往往不可以完全信任。例如，股票的发展趋势，我们很难根据过去的数据去模拟未来发展趋势；同时我们获得的新数据往往不具有完整的标签，这使我们很难直接利用数据库去训练模型。在这种背景下，迁移学习理论应运而生，迁移学习指的是利用以往的知识A，去解决相似的知识B，把通过A训练好的模型参数迁移到新的模型中帮助新模型训练。因为大部分的数据或任务是存在相关性的，所以可以借用旧的知识加速学习过程。

目前各类微表情数据库均存在数量较少、并且样本标签信息不完整的问题，因此难以训练一个有效的模型，考虑到传统的人脸表情数据库样本数量丰富，通过迁移学习将人脸宏表情和微表情建立联系，并实现知识转移，将有助于提升微表情的识别效果。将迁移学习理论应用到微表情的识别中尚属空白，而应用于其他领域的迁移学习框架在小样本库、标签信息不完整的微表情识别中效果也不理想。

微表情的特征提取手段多种多样，不同的特征反映了微表情不同层面的特点，从多种特征中选择最有效的特征组合将会比单一的特征更加全面的反应微表情特点，多特征思想就是从多种特征中通过一定方法选择出优秀的特征组合，实现更加出色的性能表现；人脸面部表情被划分为多个区域块的AU单元，每一个局部的变化都至关重要，基于面部整体的特征提取往往湮没了局部细节特点，多任务思想将人脸划分为多块局部区域，通过给予不同区域块不同的权重，突出局部细节特点。

发明内容