[发明专利]基于深度学习的人脸三维特征点检测方法及系统

权利要求书

1.一种基于深度学习的人脸三维特征点检测方法，其特征在于，包括以下步骤：

建立人脸数据集，通过人脸三维重建对所述人脸数据集中的人脸图片进行处理，以获取人脸几何；

在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；

训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络，其中，预先训练所述深度神经网络作为生成对抗网络的初始化生成网络，根据所述初始化生成网络构建鉴别网络，将其输出与其输入组合作为负样本，以其输入与数据集中对应的标准输出组合作为正样本，作为所述鉴别网络的输入；以及

在训练时，采用所述生成对抗网络以利用所述鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果，其中，若配套，从所述三维特征点分布热度图提取出概率最高的像素，结合所述训练后的深度神经网络的深度信息，计算当前特征点的位置。

2.根据权利要求1所述的基于深度学习的人脸三维特征点检测方法，其特征在于，所述特征点为三维特征点，且所述三维特征点与所述人脸三维模板存在对应关系。

3.根据权利要求1所述的基于深度学习的人脸三维特征点检测方法，其特征在于，所述通过人脸三维重建对所述人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非所述人脸图片中显示的人脸边缘点，而是所述人脸几何上两侧的边缘点。

4.根据权利要求1所述的基于深度学习的人脸三维特征点检测方法，其特征在于，还包括：

在训练时，输出为真或假以构成生成对抗误差，并将所述数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。

5.根据权利要求4所述的基于深度学习的人脸三维特征点检测方法，其特征在于，所述误差项需要在所述生成对抗网络中，以用于所述神经网络的训练。

6.一种基于深度学习的人脸三维特征点检测系统，其特征在于，包括：

处理模块，用于建立人脸数据集，通过人脸三维重建对所述人脸数据集中的人脸图片进行处理，以获取人脸几何，且在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；

预设训练模块，用于训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络其中，预先训练所述深度神经网络作为生成对抗网络的初始化生成网络，根据所述初始化生成网络构建鉴别网络，将其输出与其输入组合作为负样本，以其输入与数据集中对应的标准输出组合作为正样本，作为所述鉴别网络的输入；以及

生成对抗训练模块，用于在训练时，采用生成所述对抗网络以利用所述鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果，其中，若配套，从所述三维特征点分布热度图提取出概率最高的像素，结合所述训练后的深度神经网络的深度信息，计算当前特征点的位置。

7.根据权利要求6所述的基于深度学习的人脸三维特征点检测系统，其特征在于，所述特征点为三维特征点，且所述三维特征点与所述人脸三维模板存在对应关系。

8.根据权利要求6所述的基于深度学习的人脸三维特征点检测系统，其特征在于，所述通过人脸三维重建对所述人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非所述人脸图片中显示的人脸边缘点，而是所述人脸几何上两侧的边缘点。

9.根据权利要求6所述的基于深度学习的人脸三维特征点检测系统，其特征在于，还包括：

在训练时，输出为真或假以构成生成对抗误差，并将所述数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。

10.根据权利要求9所述的基于深度学习的人脸三维特征点检测系统，其特征在于，所述误差项需要在所述生成对抗网络中，以用于所述神经网络的训练。