[发明专利]一种面容元素的分类方法、装置、设备及存储介质

权利要求书

1.一种面容元素的分类方法，其特征在于，包括：

获取待分类人脸图像，并生成与待分类人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素；

根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型。

2.根据权利要求1所述的方法，其特征在于，根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型，包括：

获取与当前处理的目标局部子图对应的目标面容元素；

在预先训练的全部面容元素分类模型中，获取与所述目标面容元素匹配的目标面容元素分类模型，并将所述目标局部子图输入至所述目标面容元素分类模型中；

通过所述面容元素分类模型从目标局部子图中提取匹配的图像特征集以及面容元素几何特征集，并根据所述图像特征集以及面容元素几何特征集，确定所述目标局部子图中目标面容元素的所属类型。

3.根据权利要求2所述的方法，其特征在于，所述目标面容元素分类模型具体包括：图像特征提取网络、面容元素几何特征提取网络、特征融合网络以及分类网络；

所述图像特征提取网络，用于根据输入的目标局部子图，在多个维度下提取图像特征集；

所述面容元素几何特征提取网络，用于在输入的目标局部子图中提取与目标面容元素对应的面容元素几何特征集；

特征融合网络，用于将所述图像特征集和所述面容元素几何特征集进行特征拼接，得到融合特征集；

分类网络，用于根据所述融合特征集，确定所述目标局部子图中所述目标面容元素的所属类型。

4.根据权利要求3所述的方法，其特征在于，所述图像特征提取网络为基于注意力机制的卷积神经网络。

5.根据权利要求3所述的方法，其特征在于，所述面容元素几何特征包括下述至少一项：面容元素的尺度、倾斜角度、关键点间的夹角、以及边缘曲率。

6.根据权利要求1所述的方法，其特征在于，生成与待分类人脸图像对应的多个局部子图，包括：

在所述待分类人脸图像中，标注得到多个人脸关键点；

根据与不同面容元素分别对应的人脸关键点集合，在标注得到的各人脸关键点中，确定与待分类人脸图像中的各面容元素分别对应的目标人脸关键点；

根据与各待分类人脸图像中的各面容元素分别对应的目标人脸关键点，形成与待分类人脸图像中的各面容元素分别对应的局部子图。

7.根据权利要求2所述的方法，其特征在于，在预先训练的全部面容元素分类模型中，获取与所述目标面容元素匹配的目标面容元素分类模型之前，还包括：

获取训练样本集合，所述训练样本集中包括人脸上每个面容元素的全部类型的样本图像；

生成与每个样本图像分别对应的多个局部子图，并将与同一面容元素对应的多个局部子图归集为同一面容元素样本集合中；

使用每个面容元素样本集合对预设的机器学习模型进行训练，得到与每个面容元素分别对应的面容元素分类模型。

8.一种面容元素的分类装置，其特征在于，包括：

面容元素生成模块，用于获取待分类人脸图像，并生成与待分类人脸图像对应的多个局部子图，每个局部子图对应人脸上的设定面容元素；

面容元素类型确定模块，用于根据与每个局部子图分别对应的图像特征集，以及面容元素几何特征集，确定每个局部子图中面容元素的所属类型。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的面容元素的分类方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一所述的面容元素的分类方法。