[发明专利]一种基于多任务卷积神经网络的人脸表情识别方法

权利要求书

1.一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于包括以下步骤：

1)准备训练样本集其中，N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；Pi表示第i个训练样本对应的固定大小的图像；表示第i个训练样本对于第j类表情的类别标签：

2)设计多任务卷积神经网络结构，网络由两部分组成，第一部分用于提取图片的低层语义特征，第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别；

3)在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务，并使用一种联合损失来监督每个单表情判别任务，用于学习对某种表情具有判别性的特征；

4)使用大的人脸识别数据集，利用反向传播算法进行预训练；

5)使用给定的人脸表情训练样本集进行微调，得到训练好的模型；

6)利用训练好的模型进行人脸表情识别；

在步骤3)中，所述在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法为：

(1)每个单表情判别性特征学习任务，用于学习对特定一个表情具有判别性的特征，第j个任务对应所有并行的全连接层中的第j个全连接层，每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心，表示第j类表情特征的类中心，表示除第j类表情之外，其他类表情特征的类中心，计算样本特征到每个类中心的距离，具体计算公式如下所示：

其中，表示输入训练样本Pi在第j个全连接层得到的特征，为标签，表示属于第j类表情，表示不属于第j类表情，||.||₂表示欧式距离，是正距离，表示样本特征到所属类中心的欧氏距离的平方，是负距离，表示样本特征到另一个类中心的欧氏距离的平方；

(2)在和的基础上，对每个输入样本，计算如下两种损失：

其中是在单个样本上的类内损失，是在单个样本上的类间损失，α是边界阈值，用于控制和的相对间隔；

(3)在每个样本上，使用样本敏感损失权重对两种损失和进行加权：

其中，和分别是样本的类内损失和类间损失的损失敏感权重，通过一种调制函数得来，调制函数公式如下：

调制函数δ(x)将输入的样本损失归一化到区间[0，1)，作为样本的损失敏感权重，和分别对应第j个表情的类内损失和类间损失，m为第j个任务训练时的样本数量；

(4)对每个表情，使用动态表情权重对两种损失和进行加权，所有单表情判别性特征学习任务的联合损失为：

其中，和分别是第j个任务的类内损失和类间损失的动态表情权重，由柔性最大函数计算得来，计算公式如下：

经过柔性最大函数计算得到的权重之和为1.0，即

(5)将所有单任务学习到的特征串联起来，输入到柔性最大分类层进行分类，对柔性最大分类层计算交叉熵损失：

其中，网络计算得到的表明训练样本Pi属于第j类表情的概率；

(6)联合损失和交叉熵损失构成网络的总损失：

L_to_tal＝L_J+L_cls

整个网络通过反向传播算法进行优化。

2.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于在步骤2)中，所述设计多任务卷积神经网络结构的具体方法为：

(1)网络的第一部分为全卷积网络，用于提取输入图像的中被所有表情所共享的低层语义特征，对于网络的第一部分，采用预激活残差单元结构堆叠多个卷积层；

(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大分类层组成，多个并行的全连接层的个数与训练样本集包含的类别数一致，每个并行的全连接层接收网络的第一部分所输出的特征作为输入，获得所有并行的全连接层的输出之后，将这些输出串联起来，作为柔性最大分类层的输入。