[发明专利]一种基于深度干扰分离学习的人脸表情识别方法

说明书

一种基于深度干扰分离学习的人脸表情识别方法，涉及计算机视觉技术。包括以下步骤：A.准备样本集；B.对于干扰样本集的所有样本，使用多任务学习的方法预训练一个干扰特征提取模型；C.对于表情训练样本集中的所有样本，设计并训练一个干扰分离模型；D.在干扰分离模型的表情子网络和干扰子网络中分别设计一系列注意力模块；E.设计表情子网络；F.使用K‑L散度约束干扰子网络学习；G.在测试阶段，针对表情测试样本集，利用干扰分离模型提取人脸表情特征并实现鲁棒的人脸表情识别。能够从特征层面上同时分离出各种对表情识别有影响的干扰因素，可以有效地进行人脸表情识别，可以提高人脸表情识别的精度。

技术领域

本发明涉及计算机视觉技术，具体是涉及一种基于深度干扰分离学习的人脸表情识别方法。

背景技术

在过去几年中，人脸表情识别在计算机视觉和模式识别等领域引起了极大关注。人脸表情识别主要应用于公共安全、心理学、医学、数字娱乐和司机监控等。人脸表情识别的任务是：给定人脸面部图像，预测人脸的表情类别，表情类别一般分为高兴、悲伤、愤怒、吃惊、厌恶、害怕以及中立。

虽然人脸表情识别的任务只是图像级别的分类任务，目前还存在很多的挑战，主要是因为人脸表情图像通常受到光照、姿势、年龄、性别、身份等因素的干扰。面部表情图像经常与不同类型的干扰因素交织在一起。这些干扰因素包括物理干扰如人脸姿态、光照变化、遮挡和语义干扰如年龄、性别、种族、身份的变化等。这些干扰不仅会影响人脸图像的自然外观，而且会进一步影响人脸表情识别有效特征的提取，严重影响了表情相关特征提取的难度。这是因为这些在对图像进行特征提取的时候不仅会包含与表情相关的信息，而且还包含干扰信息或噪声(由干扰引起)。显然，由于干扰信息的存在，人脸表情识别的性能将大大降低。因此，在保留与表情相关的信息的同时，从提取的特征中分离出干扰因素的信息至关重要。

发明内容

本发明的目的在于能够在特征层面上同时分离出各种干扰因素，从而实现有效的人脸表情识别的一种基于深度干扰分离学习的人脸表情识别方法。

本发明包括以下步骤：

A.准备样本集，包括有干扰因素标注的干扰样本集、表情训练样本集和表情测试样本集；

B.对于干扰样本集的所有样本，使用多任务学习的方法预训练一个干扰特征提取模型，用来提取干扰因素的特征；

C.对于表情训练样本集中的所有样本，设计并训练一个干扰分离模型，该模型的网络包括一个全局共享子网络、一个用于表情识别的表情子网络和一个用于提取干扰特征的干扰子网络；

D.在干扰分离模型的表情子网络和干扰子网络中分别设计一系列注意力模块，这些注意力模块通过计算全局共享特征图中每个特征点的重要性，来获得对各自任务有利的特征；

E.设计表情子网络，在干扰分离模型的表情子网络中，引入一个多层特征融合的机制，使得表情子网络融合网络低层的空间特征和网络高层的语义特征，从而保证表情子网络关注到对表情识别有利的精细人脸区域；

F.使用K-L散度约束干扰子网络学习，在干扰分离模型的干扰子网络中，使用K-L散度来约束预训练的干扰特征提取模型提取到的干扰特征与干扰子网络提取的干扰特征之间的距离，从而使得干扰子网络学习和干扰因素有关的特征；

G.在测试阶段，针对表情测试样本集，利用干扰分离模型提取人脸表情特征并实现鲁棒的人脸表情识别。