[发明专利]一种基于多任务卷积神经网络的人脸表情识别方法

摘要

一种基于多任务卷积神经网络的人脸表情识别方法，首先设计多任务卷积神经网络结构，在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征；然后采用多任务学习，同时学习多个单表情判别性特征学习任务以及多表情识别任务，使用一种联合损失来监督网络的所有任务，并且使用两种损失权重来平衡网络的损失；最后根据训练好的网络模型，从模型最后的柔性最大分类层得到最终的人脸表情识别结果。将特征提取与表情分类放在一个端到端的框架中进行学习，从输入图片中提取出判别性特征，对输入图片做出可靠地表情识别。通过实验分析可知，本算法性能卓越，可有效地区分复杂的人脸表情，在多个公开的数据集上都取得了良好的识别性能。

主权项

1.一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于包括以下步骤：1)准备训练样本集i＝1,...,N，j＝1,...c，其中，N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；P_i表示第i个训练样本对应的固定大小的图像；表示第i个训练样本对于第j类表情的类别标签：2)设计多任务卷积神经网络结构，网络由两部分组成，第一部分用于提取图片的低层语义特征，第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别；3)在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务，并使用一种联合损失来监督每个单表情判别任务，用于学习对某种表情具有判别性的特征；4)使用大的人脸识别数据集，利用反向传播算法进行预训练；5)使用给定的人脸表情训练样本集进行微调，得到训练好的模型；6)利用训练好的模型进行人脸表情识别。