[发明专利]一种基于深度干扰分离学习的人脸表情识别方法

权利要求书

1.一种基于深度干扰分离学习的人脸表情识别方法，其特征在于包括以下步骤：

A.准备样本集，包括有干扰因素标注的干扰样本集、表情训练样本集和表情测试样本集；

B.对于干扰样本集的所有样本，使用多任务学习的方法预训练一个干扰特征提取模型，用来提取干扰因素的特征；

C.对于表情训练样本集中的所有样本，设计并训练一个干扰分离模型，该模型的网络包括一个全局共享子网络、一个用于表情识别的表情子网络和一个用于提取干扰特征的干扰子网络；

D.在干扰分离模型的表情子网络和干扰子网络中分别设计一系列注意力模块，这些注意力模块通过计算全局共享特征图中每个特征点的重要性，来获得对各自任务有利的特征；

E.设计表情子网络，在干扰分离模型的表情子网络中，引入一个多层特征融合的机制，使得表情子网络融合网络低层的空间特征和网络高层的语义特征，从而保证表情子网络关注到对表情识别有利的精细人脸区域；

F.使用K-L散度约束干扰子网络学习，在干扰分离模型的干扰子网络中，使用K-L散度来约束预训练的干扰特征提取模型提取到的干扰特征与干扰子网络提取的干扰特征之间的距离，从而使得干扰子网络学习和干扰因素有关的特征；

G.在测试阶段，针对表情测试样本集，利用干扰分离模型提取人脸表情特征并实现鲁棒的人脸表情识别。

2.如权利要求1所述一种基于深度干扰分离学习的人脸表情识别方法，其特征在于在步骤A中，所述干扰样本集表示为表示干扰样本集中的一个人脸图像，i＝1，...，R，R为干扰样本集的样本数，分别表示对应的M个干扰因素的标签，M表示干扰因素的个数；表情训练样本集表示为表示训练样本集中的一个人脸图像，i＝1，...，N^train，N^train为训练样本数，y_i为对应的表情标签；表情测试样本集表示为表示测试样本集中的一个人脸图像，i＝1，...，N^test，N^test为测试样本数，y_i为对应的表情标签。

3.如权利要求1所述一种基于深度干扰分离学习的人脸表情识别方法，其特征在于在步骤A中，所述准备样本集的具体步骤为：

A1.对样本集每幅图像逐一进行人脸检测与人脸关键点的检测，采用MTCNN(K.Zhang，Z.Zhang，Z.Li，Y.Qiao，“Joint face detection and alignment using multi-taskcascaded convolutionalnetworks”，IEEE SignalProcessing Letters，vol.23，no.10，pp.1499-1503，2016.)方法，以得到人脸关键点在每幅图像中的位置；

A2.根据人脸关键点的位置，将所有样本集中的每幅人脸图像进行分割并对齐，得到100×100像素的人脸图像；

A3.对干扰样本集和训练样本集中得到的每幅图像，先后进行随机翻转，随机裁剪成90×90像素的图像；对测试样本集中的得到的每幅图像，将之中间裁剪成90×90像素的图像。

4.如权利要求1所述一种基于深度干扰分离学习的人脸表情识别方法，其特征在于在步骤B中，所述预训练一个干扰特征提取模型的具体步骤为：

B1.设计一个干扰特征提取模型，包括一个共享层和针对不同干扰因素而设计的特定层；其中共享层采用PreAct ResNet18网络，并且把最后一个全连接层的输出维度改为128；每个干扰因素的特定层包括一个全连接层，全连接层的输出维度对应于每个特定干扰因素的类别数；

B2.对于干扰因素预测任务，根据给定的干扰因素标签，计算干扰因素预测损失，采用交叉熵损失函数，如下：

其中，M表示干扰因素的个数，R表示干扰样本的样本数，和分别表示第i个样本预测的和真实的第j个干扰标签；

B3.根据步骤B2设计的损失函数优化干扰特征提取模型，得到训练好的干扰特征提取模型。