[发明专利]一种基于多任务学习的面部活动单元检测方法

说明书

本发明提供一种基于多任务学习的面部活动单元检测方法，包括：辅助任务学习：将全局平均池化层之前的AlexNet网络作为共享结构提取共享的面部全局特征，并将提取的共享的面部全局特征分别送入与任务相关的独立网络结构中得到辅助任务的输出；所述辅助任务的输出包括标志点检测、性别识别、头部姿势估计和表情识别的输出；主任务学习：将面部裁剪为上半脸和下半脸，分别输入修改后的Resnet50网络中学习与活动单元相关的特征，将辅助任务学习步骤提取的共享的面部全局特征融入并加入注意力机制；特征组合：将辅助任务的输出组合起来作为关系信息来修正活动单元相关特征的输出。本发明涉及人机交互及模式识别技术领域。

技术领域

本发明涉及人机交互及模式识别技术领域，特别涉及一种基于多任务学习的面部活动单元检测方法。

背景技术

国际著名心理学家Paul Ekman从解剖学角度提出面部表情编码系统，将面部肌肉划分成若干个相互独立又相互联系的活动单元(Action Unit，AU)，来对面部表情进行细分描述。用AU来描述表情从而进行表情识别有两个好处：①现有的表情识别工作大部分是基于六种基本表情(快乐，伤心，恐惧，愤怒，惊讶和厌恶)开展的，然而人脸表情很丰富，不止这六种基本表情，用AU描述表情可以组合出更多丰富的表情；②用AU来描述和组合表情，可以探索AU和表情之间的联系，这将同时促进AU检测和表情识别工作的发展。因此AU检测的探索非常具有实用价值。

AU检测任务即识别面部某个AU是否发生，面部表情编码系统中有40个以上的AU，但有些AU却很少在正常状况下发生，因此一般用作AU检测任务的AU种类在10个左右，也就是说，判断一张面部图片中这些种类AU是否发生，这是多个二分类的问题。现有的AU检测方法主要有基于传统的机器学习和基于深度学习的方法。其中基于传统机器学习的方法需要提取手工特征且每个模型只能完成一个二分类任务，需要多个模型完成，这样耗时耗力。基于深度学习的方法能够实现多个二分类结果的同时输出，卷积神经网络(CNN)的强大学习能力和对局部信息的提取能使其学到更多有效丰富和具有差异性的特征，使得模型效果更优。

现有的AU检测方法中，基于深度学习方法的性能较高，主要包括：Zhao等人在五个卷积层和三个池化层基础上增加了区域层，该层将一张特征图划分成很多子块并对每个子块进行卷积，然后组合卷积后的结果，通过此方式增强对局部信息的学习，在BP4D数据库上得到了56.0％的准确率和48.3％的F1得分。Shao等人同时实现面部对齐和AU检测任务，通过多任务之间的相互交互以及注意力机制对局部信息的增强，在BP4D数据上得到了78.4％的准确率和60％的F1得分。Ma等人在网络中加入先验知识，根据面部标志点将面部划分成更多更细的感兴趣区域(ROI)，将感兴趣区域与AU进行对应，使学到的信息更具差异性，从而在BP4D数据上得到了63.0％的F1得分。

通过以上分析，目前AU检测的不足主要有两个方面：

首先，现有的AU检测任务的实现大部分基于单任务学习，学到的面部特征特异性不够导致测试过程中泛化能力不够好。而研究已证明多任务学习的有效性，多任务学习可以通过辅助任务来增强主要任务的性能，同时辅助任务和主要任务可以通过交互相互促进来提高性能，因此多任务学习很值得在AU检测任务上尝试，让网络学到更丰富且具有特异性的特征；其次，AU检测是多个二分类任务，在自然状态下，部分AU正样本发生的比例更高，部分AU的样本比例非常不平衡，现有工作没有针对AU不平衡数据做过多处理或处理不够有效。

发明内容