[发明专利]一种基于多任务学习的人脸状态判断方法和系统

权利要求书

1.一种基于多任务学习的人脸状态判断方法，其特征在于，包括以下步骤：

分别获取人脸状态美感判断数据集和人脸表情识别数据集；所述人脸状态美感判断数据集是根据头部姿态、面部状态和面部遮挡对人脸状态美感进行判断得到的；

构建基于自注意力机制的多任务学习模型；基于所述人脸状态美感判断数据集和人脸表情识别数据集，采用交替-联合训练方法对所述多任务学习模型进行训练，得到训练好的多任务学习模型；所述多任务包括人脸状态美感判断任务和人脸表情识别任务；

将待判断的人脸图像输入所述多任务学习模型，得到所述人脸图像的人脸状态判断结果;

所述采用交替-联合训练方法对所述多任务学习模型进行训练，包括：

根据所述人脸状态美感判断数据集和所述人脸表情识别数据集的大小，分别计算所述人脸状态美感判断任务和人脸表情识别任务的batch-size；

从人脸状态美感判断数据集中提取对应的batch-size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸状态美感判断任务的损失；

从人脸表情识别数据集中提取对应的batch-size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸表情识别任务的损失；

根据所述人脸状态美感判断任务的损失和所述人脸表情识别任务的损失计算联合损失，基于所述联合损失优化模型参数。

2.根据权利要求1所述的基于多任务学习的人脸状态判断方法，其特征在于，所述基于自注意力机制的多任务学习模型包括共享特征提取模块、自注意力机制模块和多任务学习模块；

所述共享特征提取模块用于提取图像特征；

所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征；

所述多任务学习模块包括人脸状态美感判断子模块和人脸表情识别子模块；所述人脸状态美感判断子模块用于根据所述加权图像特征进行人脸状态美感判断；所述人脸表情识别子模块用于根据所述加权图像特征进行人脸表情识别。

3.根据权利要求2所述的基于多任务学习的人脸状态判断方法，其特征在于，所述共享特征提取模块包括卷积层、第一残差块和两个第二残差块；

所述第一残差块包括两个串联的第一残差子块，每个所述第一残差子块均包括两个卷积层、两个批量归一化层和一个激活层；

每个所述第二残差块包括两个串联的残差子块，每个所述残差子块的主分支均包括两个卷积层、两个批量归一化层和一个激活层；第一个残差子块的辅助分支还包含一个卷积层和一个批量归一化层。

4.根据权利要求2所述的基于多任务学习的人脸状态判断方法，其特征在于，所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征，包括：

将共享特征提取模块提取的每张特征图转化为一维特征向量；将所有特征图对应的一维特征向量组成自注意力机制中的Q、K和V矩阵；

基于所述Q、K和V矩阵采用多头自注意力机制计算得到加权特征矩阵；

将所述加权特征矩阵转化为二维特征图，得到加权图像特征。

5.根据权利要求2所述的基于多任务学习的人脸状态判断方法，其特征在于，所述人脸状态美感判断子模块和人脸表情识别子模块均包括依次连接的第三残差块、自适应平均池化层和全连接层；

所述第三残差块包括两个串联的残差子块，所述第三残差块的两个残差子块的主分支均包括两个卷积层、两个批量归一化层和一个激活层；第一个残差子块的辅助分支还包含一个卷积层和一个批量归一化层。