[发明专利]面部动作单元识别方法、装置、电子设备及存储介质

权利要求书

1.一种面部动作单元识别方法，其特征在于，所述方法包括：

获取终端上传的第一待识别人脸图像；

采用预训练的卷积神经网络模型对所述第一待识别人脸图像进行人脸检测，得到所述第一待识别人脸图像中人脸关键点的位置信息；

利用所述人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到第二待识别人脸图像；

将所述第二待识别人脸图像输入预训练的面部动作单元识别模型，经过所述面部动作单元识别模型的主体网络部分、注意力机制及全连接层的处理，得到所述第一待识别人脸图像的面部动作单元识别结果，所述主体网络部分包括多个深度残差密集网络，每个所述深度残差密集网络由深度残差网络和深度密集网络堆叠而成；

向所述终端输出所述第一待识别人脸图像的面部动作单元识别结果。

2.根据权利要求1所述的方法，其特征在于，所述利用所述人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到第二待识别人脸图像，包括：

从数据库中获取预先存储的标准人脸图像中人脸关键点的位置信息；

根据所述第一待识别人脸图像中人脸关键点的位置信息与所述标准人脸图像中人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到所述第二待识别人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一待识别人脸图像中人脸关键点的位置信息与所述标准人脸图像中人脸关键点的位置信息对所述第一待识别人脸图像进行人脸矫正，得到所述第二待识别人脸图像，包括：

将所述第一待识别人脸图像中人脸关键点的位置信息与所述标准人脸图像中人脸关键点的位置信息进行比对，得到相似变换矩阵H；

根据预设相似变换矩阵方程求解所述相似变换矩阵H；

将所述第一待识别人脸图像中每个像素点的位置信息与求解后得到的所述相似变换矩阵H相乘，得到摆正的所述第二待识别人脸图像。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述第二待识别人脸图像输入预训练的面部动作单元识别模型，经过所述面部动作单元识别模型的主体网络部分、注意力机制及全连接层的处理，得到所述第一待识别人脸图像的面部动作单元识别结果，包括：

将所述第二待识别人脸图像输入所述主体网络部分进行特征提取，得到高阶特征图；

利用所述注意力机制对所述高阶特征图进行最大池化和平均池化操作，得到宽、高与所述高阶特征图相同，深度为1的第一特征图和第二特征图；

根据所述第一特征图和所述第二特征图得到目标特征图，将所述目标特征图输入所述全连接层进行二分类，得到所述第一待识别人脸图像的面部动作单元识别结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征图和所述第二特征图得到目标特征图，包括：

在深度方向将所述第一特征图和所述第二特征图进行拼接，对拼接得到的特征图进行1*1的卷积，得到第三特征图；

将所述第三特征图的宽、高与所述高阶特征图的宽、高对应相乘得到所述目标特征图。

6.根据权利要求4所述的方法，其特征在于，所述将所述第二待识别人脸图像输入所述主体网络部分进行特征提取，得到高阶特征图，包括：

将所述第二待识别人脸图像输入所述主体网络部分，经过多个所述深度残差密集网络进行特征提取，得到所述高阶特征图；其中，每个所述深度残差密集网络从1*1的卷积层开始进行卷积处理，后接3*3的卷积层，再接一个1*1的卷积层后分为两部分处理，一部分接入所述深度残差网络，在所述深度残差网络中将两个隐藏层输出的特征在宽、高上进行相加，深度保持不变，另一部分与所述深度密集网络的路径连接，在所述深度密集网络中将两个隐藏层输出的特征在深度上进行拼接，宽、高保持不变。