[发明专利]一种基于元学习的人脸动作单元检测方法

说明书

本发明公开了一种基于元学习的人脸动作单元检测方法，包括如下步骤：1)数据集构建，采用任务集的方式采样数据。其中，每组任务集包含支持集数据和查询集数据，支持集数据将用做元训练，查询集数据将用作元测试；2)动作检测单元(AU)模型构建，使用基于区域关系学习的AU检测模型。其中区域特征使用人脸关键点landmarks提取AU中心，然后等比例映射到特征图提取AU区域特征；关系模型采用transformer,学习AU之间的关系参数；3)基于MAML的元学习训练策略构建，将元学习训练策略下的模型称为元学习器，首先初始化元学习器的模型结构参数，然后结合元学习数据集以及AU检测模型，采用基于梯度下降的元学习方法MAML对模型进行训练和测试。

技术领域

本发明涉及面部表情识别领域，特别涉及一种基于元学习训练的人脸运动单元检测方法。

背景技术

面部表情能够揭示人的内心活动、精神状态以及向外传达的社交行为。随着人工智能的发展，以人为中心的面部表情识别已逐渐受到业界和学术界的普遍关注。面部表情动作单元(Facial Action Units，AUs)是面部表情的重要客观描述，人脸动作单元(AU)的检测也是自动识别情感表情和认知状态的基本步骤之一,AU的检测与识别对于理解和描述人脸表情有着重要的意义。基于此，面部的AU检测与分析已逐渐成为计算机视觉领域和情感计算领域的热门研究课题之一。

然而，AUs的手工标注是一项困难、耗时、繁琐的工作。此外，要对AUs进行客观一致的标注，需要对AUs有全面了解的人类专家，这是代价高昂的。因此，通过提出新的方法，解决AU检测数据集标注不足的问题，是目前需要解决的任务。

目前的AU检测模型主要有以下几种：

1.基于区域学习的模型，如Wei等人引入了增强和裁剪网络(EAC-Net),E-net通过注意力映射与C-net,增强了facial landmark特征的ROI。这些设计通过对检测到的landmarks周围的面部区域的裁剪，使用独立的CNNs提取更深层次的特征。

2.基于关系学习的模型，如AU-GCN模型，首先提取AU区域特征，再将特征视为图结点，引入GCN模型里，学习AU之间的关系。

3.基于注意力机制的模型，如Shao等人提出了JAA-Net,不再将人脸对齐作为一种预处理方式，而是将AU检测与人脸对齐，以及人脸对齐形成的注意力模块进行联合学习。

现有的AU检测模型通常使用含有大量AU标签的基准数据集训练，例如DISFA，BP4D，CK+和MMI。然而，当在新的AU或新的身份数据集上测试时，这些模型并没有表现出良好的泛化性能。

元学习是近两年提出的一种深度学习方法，与传统的监督学习不同，传统的监督学习需要大量的数据集作为输入，训练后得到一个模型，能用于预测相应的同一分布的数据。然而，元学习的目标是以任务作为输入，通过训练多种学习任务以获得一个具有多任务先验知识的元算法，该元算法可以只使用少量的新的训练样本就能解决新的学习任务，因此元学习能够很好的提高模型的泛化能力同时解决少样本学习任务。

由Chelsea Finn等人提出了一种用于深度网络快速适应的模型无关的元学习的方法，简称为MAML。该方法的基本思想是训练模型的初始参数，以便在通过一个或多个梯度步骤更新参数后，该模型对新任务具有最佳性能，而该梯度步骤是根据该新任务中的少量数据计算得出的。由于该方法主要基于梯度更新参数，因此不会对模型架构施加约束，同时还可以与各种损失函数相结合做反向传播，因此是一种模型无关的元学习方法，可以与不同的模型相结合，完成不同的深度学习任务。

根据以上调查与分析，拟使用基于梯度下降的元学习方法MAML，结合现有的AU检测的特点提出一种基于区域关系学习的AU检测模型，再配合现有的基准表情数据集(BP4D,DISFA)，提出一种基于元学习的人脸运动单元检测研究方法。

发明内容