[发明专利]人脸关键点检测方法、装置、电子设备及存储介质

权利要求书

1.一种人脸关键点检测方法，其特征在于，所述人脸关键点检测方法包括：

将人脸图片训练数据输入至第一残差网络，并经所述第一残差网络处理得到第一特征图，其中所述人脸图片训练数据包括有遮挡瑕疵的人脸图像，所述第一残差网络包括一个卷积层、一个最大池化层及由至少一个残差单元构成的残差计算模块，用于从人脸图像中获取人脸图像特征；

将所述第一特征图输入至几何感知网络，并经所述几何感知网络处理得到第一几何关系矩阵；

将所述第一特征图输入至注意力模型，并经所述注意力模型处理得到第一加权特征图矩阵；

根据所述第一几何关系矩阵与所述第一加权特征图矩阵得到第一输入数据；

将所述第一输入数据输入至第一低秩学习网络，训练所述第一低秩学习网络预测所述人脸图片训练数据中的人脸关键点，并得到训练完成的第二低秩学习网络，包括：

将所述输入数据输入至所述第一低秩学习网络的全连接层；

以所述输入数据为所述第一低秩学习网络的输入，以所述人脸图片训练数据中的人脸关键点为输出，训练所述第一低秩学习网络预测所述人脸图片训练数据中的人脸关键点；

根据预设的损失函数优化所述第一低秩学习网络，得到训练完成的第二低秩学习网络，包括：根据公式优化所述第一低秩学习网络的全连接层的权重，得到所述训练完成的第二低秩学习网络，其中，N为所述人脸图片训练数据的样本数量，为所述第一低秩学习网络预测的人脸关键点，其中，W^T为所述第一低秩学习网络的全连接层的权重矩阵的转置，M^T为结构矩阵的转置，X为所述输入数据，S＝{S₁，S₂，...，S_L}为所述人脸图片训练数据中的人脸关键点，L为所述人脸图片训练数据中的人脸关键点的数量，为的F范数的平方，β为结构矩阵的秩的正则化参数，Rank(M)为结构矩阵的秩，所述第二低秩学习网络可以预测人脸图片中的人脸关键点；

将人脸图片测试数据输入至所述第一残差网络，并经过所述第一残差网络处理得到第二特征图，将所述第二特征图输入至所述几何感知网络，并经所述几何感知网络处理得到第二几何关系矩阵，将所述第二特征图输入至所述注意力模型，并经所述注意力模型处理得到第二加权特征图矩阵，根据所述第二几何关系矩阵与所述第二加权特征图矩阵得到第二输入数据；

将所述第二输入数据输入至所述第二低秩学习网络，所述第二低秩学习网络预测所述人脸图片测试数据中的人脸关键点；

输出所述人脸图片测试数据中的人脸关键点。

2.如权利要求1所述的人脸关键点检测方法，其特征在于，所述将人脸图片训练数据输入至第一残差网络，并经所述第一残差网络处理得到第一特征图包括：

将所述人脸图片训练数据输入所述第一残差网络中的所述卷积层，经所述卷积层计算得到第一计算结果；

将所述第一计算结果输入所述第一残差网络的所述最大池化层，经所述最大池化层计算得到第二计算结果；

将所述第二计算结果输入所述第一残差网络的所述残差计算模块，经所述残差计算模块计算得到所述第一特征图。

3.如权利要求1所述的人脸关键点检测方法，其特征在于，将所述第一特征图输入至几何感知网络，并经所述几何感知网络处理得到第一几何关系矩阵包括：

将所述第一特征图输入至所述几何感知网络中的第一卷积神经网络，经所述第一卷积神经网络处理得到第一矩阵，所述第一卷积神经网络用于获取人脸图像中人脸部件间的远距离几何关系；

将所述第一特征图输入至所述几何感知网络中的第二卷积神经网络，经所述第二卷积神经网络处理得到第二矩阵，所述第二卷积神经网络用于获取人脸图像中人脸部件间的局部几何关系；

计算所述第一矩阵和所述第二矩阵的外积得到所述第一几何关系矩阵。