[发明专利]一种基于宏表情知识迁移的微表情识别方法

说明书

本发明涉及一种基于宏表情知识迁移的微表情识别方法，包括步骤如下：(1)对表情和微表情进行分块处理；(2)对表情和微表情进行特征提取，提取LBP特征和光流特征；(3)构建宏表情知识迁移的微表情识别模型，即对表情和微表情学习特定类的映射，将表情和微表情投影到多个公共判别子空间；(4)通过基于欧氏距离的最近邻分类器对所述微表情进行分类识别。一方面，多特征学习可以结合不同特征的特点，使得识别结果达到最佳。另一方面，多任务学习是指以特征点为中心对人脸进行取块，减少面部其他无关区域对实验结果的影响。这里的特征点主要是指与表情和微表情识别相关的关键点。

技术领域

本发明涉及一种基于宏表情知识迁移的微表情识别方法，属于模式识别以及机器学习的技术领域。

背景技术

微表情是人心理行为的外在表现形式，能够揭露人们想要隐藏的真实情感。微表情最早是由Haggard和Isaacs发现，具有强度低，持续时间短等特点。微表情的持续时间一般低于1/5秒，转瞬即逝，通常做表情的人和观察者都无法察觉到微表情的存在，同时也不受人的控制，能够反映人内心的真实想法。因此，在实际生活中微表情的重要应用是测谎，在国家安全、司法审判、监狱管理等方面有重要应用。

微表情识别的目的是对微表情进行分类，从而判断出人内心的真实想法。但是，由于微表情持续时间短、强度低以及仅仅局限于面部的局部运动，给微表情的检测和识别带来了极大的困难。为了更好的识别微表情，从而揭露人们内心的真实想法，Ekman等人开发了微表情训练工具，可以训练人类对微表情的识别能力，使得微表情的识别率得到显著提升，从而有效避免研究木桶效应。然而，如果微表情识别仅依靠人工来进行，不仅费时费力，需要大量地人工训练过程和维护过程，而且难以推广。随着机器学习、模式识别和心理学等领域的不断发展，研究人员开始利用计算机实现微表情的自动识别，根据机器学习和模式识别等相关算法，依托心理学领域对人类心理行为的相关研究，揭露人们被压抑的真实情感。

目前，微表情识别方法主要包括以下五类，分别是特征描述法、频域法、光流法、特征变换法以及机器学习法。特征描述法通过对微表情的面部肌肉运动特性、纹理特性等相关特性进行描述对微表情进行表示，提升对微表情特征描述的准确性，在一定程度上减少了光照、噪音等对实验结果的影响，增加了特征的鲁棒性。频域法将微表情序列看作是一个时域信号，通过傅里叶变换、Gabor变换等一系列变换得到其相应的频谱特征，如相位、振幅等。频域法通过频域入手，提取微表情的频域特征，例如riesz wavelet、Gabor变换等。光流法主要是指在光流场中分析微表情的运动特性，它以像素为单位记录了相邻两帧之间像素的变化，更容易捕捉面部的微小运动，对产生微表情的面部肌肉运动进行表示，从而发现其特性。特征描述法、频域法以及光流法给微表情特征的提取提供了三种不同的方向，但是，由于微表情是面部的局部运动，这些特征很难完全捕捉和反映微表情面部的关键点的运动，同时，不同类型的特征对微表情特性的反映侧重点不同，因此对微表情的特性进行完整、准确的描述是十分困难的。此外，在微表情视频序列中，由于噪音及其他不相关信息的影响，将进一步削弱微表情特征对微表情描述表示能力。特征变换法主要是在张量空间对微表情进行分析，在张量空间中，一方面可以增加与微表情相关的时间信息、颜色信息等信息，另一方面也可以根据发生微表情时人脸的肌肉运动提取与对微表情识别有用的相关信息，同时去除冗余信息。然而，特征变换法在增加信息的同时，一定程度上也增加了计算的复杂度。机器学习法主要是利用上述所提到的微表情特征建立一个有效的模型实现对微表情的识别。然而，由于目前的微表情数据库中已标注的微表情样本不足，导致可以用于模型训练的样本过少，给模型的训练造成了一定的困难，使得无法训练出性能高的模型用于微表情识别，从而导致了微表情识别率不高的问题。

发明内容

针对现有技术的不足，本发明提出一种基于宏表情知识迁移的微表情识别方法，借助表情和微表情共有的情感信息辅助微表情的识别，表情和微表情实质是指人们受到刺激后一段时间内面部肌肉的变化过程，时间信息对于表情和微表情的变化具有重要的指示作用，所以本发明在张量空间上提取特征，保留时间信息从而帮助后续的识别过程。

发明概述：