[发明专利]一种非监督跨库的微表情识别方法

说明书

本发明涉及一种非监督跨库的微表情识别方法，包括：首先，将源域的宏、微表情数据进行对齐重组，重组后的联合数据矩阵通过源域选择模型，选择出一个与目标域联系更为紧密的最优的子集作为辅助集。然后，通过自适应分布对齐模型，动态地匹配源域和目标域的条件分布和边缘分布。最后，利用L_2,1范数进行辅助集样本的重加权，减少异常值的影响，实现微表情识别。本发明采用迁移学习方式，借助与微表情具有极大相似性的宏表情样本作为辅助，通过有标签的宏表情数据库和一种微表情数据库，对另一种没有任何标签的微表情数据库进行非监督的跨库微表情识别，减少目标域微表情数据库耗时费力的人工标注工作，提升微表情识别效果。

技术领域

本发明涉及一种非监督跨库的微表情识别方法，属于模式识别和机器学习技术领域。

背景技术

作为一种典型的非语言交流方式，面部表情在人类情感分析中起着重要的作用。当人们试图抑制真实的面部表情时，微表情会随之产生。微表情是持续时间在0.065秒到0.5秒、无意识的、快速的面部表情变化，不能像宏表情一样被自由控制，通常可以揭示人想要隐藏的真实情感。因此，微表情识别在犯罪侦查、测谎等领域有极大的应用价值和发展前景。

目前，微表情识别通常包括三种方法：基于人工特征的方法、基于深度学习的方法和基于迁移学习的方法。在基于人工特征的微表情识别算法中，人工特征主要分为三种类型：基于局部二值模式的特征、基于频域的特征和基于光流的特征。基于局部二值模式的特征复杂度较低，拥有灰度不变性和旋转不变性。基于频域的特征通过Gabor变换或者傅里叶变换等形式得到微表情相位、振幅等一系列频谱信息，并通过这些信息表示微表情的频域特征。基于光流的特征捕捉面部的微小运动，提取光流场中微表情的运动特性。不同于基于人工提取的特征描述子，深度学习方法可以自动推断出最优的特征表示，近些年也获得了较为先进的识别结果，如运动单元辅助的图注意力卷积网络AU-GACN、双时间尺度卷积神经网络DTSCN等。然而，深度学习需要大量的训练样本，而现有的微表情数据集都很小，标注数据又是一项枯燥无味且花费巨大的任务，因此，数据不足的现状限制了深度学习模型的训练效果。为了解决数据集有限的问题，使用来自其他相关领域的迁移学习方法也开始得到重视。迁移学习是把一个领域(即源域)的知识，迁移到另外一个领域(即目标域)，使得目标领域能够取得更好的学习效果的方法，在微表情识别中，常见的相关领域为宏表情样本、语音信息等。

现有的微表情识别方法通常仅针对源域和目标域的微表情样本来自同一个微表情数据库的情况。但是在实际应用中，微表情识别面临着诸多复杂的场景(类似于源域训练集和目标域测试集来自不同的微表情数据库的情况)，例如，源域和目标域的样本是从不同的光照背景(自然光和室内灯光)、摄影机类型(高清摄像机和近红外摄像机)和时间(白天和夜晚)下拍摄得到的。这种在跨库的情况下，源域和目标域的特征差异较大，直接将源域的样本放入分类器中训练，对目标域样本的识别效果非常有限。

发明内容

针对目标域微表情数据库没有标签的情况，本发明提出了一种非监督的跨库微表情识别算法，减少目标域微表情数据库耗时费力的人工标注工作，提升微表情识别效果。

发明概述：

一种非监督跨库的微表情识别方法，包括：特征提取和处理、源域选择模型和自适应分布对齐模型。

本发明采用迁移学习方式，借助与微表情具有极大相似性的宏表情样本作为辅助，通过有标签的宏表情数据库和一种微表情数据库，对另一种没有任何标签的微表情数据库进行非监督的跨库微表情识别，减少目标域微表情数据库耗时费力的人工标注工作，提升微表情识别效果。

本发明包括源域选择模型和自适应分布对齐模型两个部分。首先，将源域的宏、微表情数据进行对齐重组，重组后的联合数据矩阵通过源域选择模型，选择出一个与目标域联系更为紧密的最优的子集作为辅助集，提升迁移效果。然后，通过自适应分布对齐模型，动态地匹配源域和目标域的条件分布和边缘分布。同时，利用L_2,1范数进行辅助集样本的重加权，减少异常值的影响，实现微表情识别。