[发明专利]一种基于多任务卷积神经网络的人脸表情识别方法

说明书

一种基于多任务卷积神经网络的人脸表情识别方法，首先设计多任务卷积神经网络结构，在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征；然后采用多任务学习，同时学习多个单表情判别性特征学习任务以及多表情识别任务，使用一种联合损失来监督网络的所有任务，并且使用两种损失权重来平衡网络的损失；最后根据训练好的网络模型，从模型最后的柔性最大分类层得到最终的人脸表情识别结果。将特征提取与表情分类放在一个端到端的框架中进行学习，从输入图片中提取出判别性特征，对输入图片做出可靠地表情识别。通过实验分析可知，本算法性能卓越，可有效地区分复杂的人脸表情，在多个公开的数据集上都取得了良好的识别性能。

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种基于多任务卷积神经网络的人脸表情识别方法。

背景技术

在过去的几十年时间里，人脸表情自动识别已经吸引了越来越多计算机视觉的专家和学者广泛的关注。人脸表情识别的目标是，对给定的人脸表情图片，设计一种系统，能够自动预测其所属的人脸表情类别。人脸表情自动识别技术有着广泛的应用场景，如人机交互，安全驾驶和医疗保健等。尽管这些年来这项技术已经取得了不小的成功，但是在不可控的环境条件下进行可靠的人脸表情自动识别仍然是一个巨大的挑战。

一个人脸表情识别系统包括三个模块：人脸检测、特征提取和人脸表情分类。其中，人脸检测技术已经发展得相当成熟，目前的人脸表情识别方法主要集中解决特征提取和人脸表情分类这两个模块。通常来说，这些技术可大致分为两类：基于手工设计特征的方法和基于卷积神经网络特征的方法。Zhong等人(L.Zhong,Q.Liu,P.Yang,J.Huang,D.N.Metaxas,“Learning active facial patches for expression analysis”,in IEEEConference on Computer Vision and Pattern Recognition(CVPR),2012,pp.2562–2569.)提出了一种多任务稀疏学习方法，该方法使用多任务学习从人脸表情图片中提取通用人脸区域和特定人脸区域，其中，通用人脸区域对所有表情的识别都有作用，特定人脸区域只对特定一种表情的识别有作用。然而，这种方法所提取出的通用人脸区域和特定人脸区域可能会有重合，为了解决这个问题，Liu等人(P.Liu,J.T.Zhou,W.H.Tsang,Z.Meng,S.Han,Y.Tong,“Feature disentangling machine-a novel approach of featureselection and disentangling in facial expression analysis”,in EuropeanConference on Computer Vision(ECCV),2014,pp.151–166.)提出了一种人脸表情特征分解的方法，该方法将稀疏SVM和多任务学习结合到一个框架中，从人脸表情图片中直接提取两种没有重合的特征：通用特征和特定特征，通用特征被所有表情所共享，而特定特征用于识别特定的一种表情。然而，这些基于手工设计特征的方法将特征学习和分类器训练分开进行，可能会导致比较差的泛化性能。最近，卷积神经网络在计算机视觉领域取得了重大的突破。借助卷积神经网络，许多计算视觉领域的工作取得了非常不错的结果。多数的卷积神经网络模型是通过在交叉熵损失监督下训练得到的。虽然利用交叉熵损失学习到的特征是可分的，但是只用交叉熵损失来训练网络可能无法得到令人满意的判别性的特征分布。最近Wen等人(Y.Wen,K.Zhang,Z.Li,Y.Qiao,“A discriminative feature learning ap-620proach for deep face recognition”,in European Conference on ComputerVision(ECCV),2016,pp.499–515.)提出一种类内损失作为卷积神经网络的辅助监督信号。类内损失可以有效地减小特征的类内差异性，然而，类内损失并没有显式地扩大特征的类间差异性。

发明内容

本发明的目的在于提供一种基于多任务卷积神经网络的人脸表情识别方法。

本发明包括以下步骤：