[发明专利]一种基于语音字典稀疏迁移学习的微表情识别方法

说明书

一种基于语音字典稀疏迁移学习的微表情识别方法，包括训练阶段和测试阶段。本专利通过投影的方式将语音和微表情投影到公共空间内，并且为了简化计算，提高效率，对投影后的数据进行稀疏字典表示；为了进一步缩小两个域的数据差距，考虑将两个域的字典进行彼此之间的重构，从而实现了字典的关联性，这样使得投影后的稀疏表示矩阵产生了更大的相关性。

技术领域

本发明涉及一种基于语音字典稀疏迁移学习的微表情识别方法，属于模态识别以及机器学习的技术领域。

背景技术

微表情是人们在抑制状态下或者试图隐藏真实情感时泄露的一种时间极短、不由自主的面部表情。1966年，Haggard和Issacs首次发现了这种细微的表情。Ekman等人对微表情开展了一系列的研究，微表情被认定是一种可靠的侦测谎言的线索。近些年来，随着微表情概念的提出和迅速发展，其在安防监控、案件侦查、网络安全、军事、商业甚至娱乐等领域都展现出良好的应用前景。2002年，微表情研究取得了巨大进展，Ekman等人开发了微表情训练工具(Micro Expression Training Tool,METT)，该工具有效的提高了微表情识别能力。

随着机器学习和表情识别算法的迅速发展，微表情自动识别研究取得了长足的进步。Zhang等人提出了一种新的判别特征描述符，提取了光流直方图和LBP-TOP特征；He等人提出了一种不同权重应对不同特征层特征的多任务特征学习方法；Ben等人提出了基于最大化最小化内部拉普拉斯算子的最大边缘投影与张量表示；Wang等人通过寻找一个张量的子空间让样本之间的相关性最大化，提出了稀疏的张量典型相关分析；这些针对不同问题提出的新理论在具体的领域中都取得了明显的提高。

尽管有越来越多的微表情识别方法出现，但由于训练样本数量的限制，这些算法很难训练出一个有效的模型。而迁移学习在这方面有着突出的优势，迁移学习利用原始领域的知识解决相关域的问题。迁移学习可以归为三个部分：归纳学习，转移学习，无监督迁移学习。Chang等人提出了利用半监督信息来计算不同特征间的相关性；Yeh等人提出了一种利用CCA将所有数据投影到一个公共空间的领域自适应算法；这些提出的方法各有特点，针对特定问题效果明显，但目前从语音到微表情的迁移学习仍未有人提出。

语言和表情是人们流露情感的两种最直观的方式。当情感波动时，人的语言会发生明显的变化，例如音调的升降，语速的快慢。因此对于微表情的识别，当样本数量不足以支撑训练有效模型时，语音是一种非常理想的辅助工具，所以本发明涉及从丰富的语音情感样本中寻找到有效的信息帮助微表情进行分类。实验结果证明，这是一种科学的有效的手段。

发明内容

针对目前从语音到微表情的迁移学习空白的技术问题，本发明提出了一种基于语音字典稀疏迁移学习的微表情识别方法。本发明与其他识别方法相比，首次应用于语音到微表情的识别，并且识别性能得到有效提高。

本发明的技术方案如下：

一种基于语音字典稀疏迁移学习的微表情识别方法，包括训练阶段和测试阶段；

所述训练阶段包括如下步骤：

首先，对语音域和微表情域提取最具代表性的特征；所述语音域的特征包括：短时能量、基音频率、二阶MFCC系数、第一至第四共振峰、上述特征的最大值、最小值、均值、中位值和方差五组统计量；微表情域的特征直接提取LBP-TOP，并对该特征利用PCA算法进行降维；

然后，对提取完的特征数据进行分组，语音域和微表情域的特征集均分成训练集和测试集；

接着，由于不同领域的数据存在较大的差异，如果直接进行数据的配对，不仅仅在物理意义上难以讲通，实际的效果也不理想，因此本发明通过迭代算法找到一个最优的投影矩阵，使得语音域和微表情域的数据投影到一个公共空间，在公共空间中同时求出语音域的稀疏字典与微表情的稀疏字典，为了提高两个域的字典的关联度，对所述语音域的稀疏字典和微表情域的稀疏字典进行彼此的重构；