[发明专利]基于深度学习的人脸三维特征点检测方法及系统

说明书

本发明公开了一种基于深度学习的人脸三维特征点检测方法及系统，其中，该方法包括：建立人脸数据集，通过人脸三维重建对人脸数据集中的人脸图片进行处理获取人脸几何；在人脸模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络；训练时采用生成对抗网络以利用鉴别网络，输入为人脸图片和三维特征点分布热度图，输出真假值表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。该方法可以检测图片中人脸特征点的三维坐标，且人脸边缘点与人脸模型之间具有很强的联系，使得人脸重建结果更为准确。

技术领域

本发明涉及计算机视觉和图形学技术领域，特别涉及一种基于深度学习的人脸三维特征点检测方法及系统。

背景技术

深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

人脸特征点检测在人脸识别、人脸重建以及人脸跟踪中有重要的应用。在人脸重建，人脸跟踪和人脸非刚性注册中，往往需要指定特征点与人脸模型模板上顶点之间的对应关系，在应用之中，二维人脸特征点的使用有很多不便，而与人脸模型模板上对应关系不确定的人脸边缘特征点，会导致人脸重建结果不准确，给应用带来一定的困难。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度学习的人脸三维特征点检测方法。该方法仅需输入单张人脸图片，就可以输出人脸的三维特征点，并且该特征点与人脸真实几何之间具有更强的对应关系。

本发明的另一个目的在于提出一种基于深度学习的人脸三维特征点检测系统。

为达到上述目的，本发明一方面提出了基于深度学习的人脸三维特征点检测方法，包括以下步骤：建立人脸数据集，通过人脸三维重建对所述人脸数据集中的人脸图片进行处理，以获取人脸几何；在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络；在训练时，采用生成对抗网络以利用鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。

本发明实施例的基于深度学习的人脸三维特征点检测方法，通过利用深度学习的方法进行训练得到一个人脸三维特征点检测的网络，获得与人脸模型模板对应关系且确定的人脸边缘特征点，使得人脸重建结果更为准确，且应用十分简单。

另外，根据本发明上述实施例的基于深度学习的人脸三维特征点检测方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述特征点为三维特征点，且所述三维特征点与所述人脸三维模板存在对应关系。

进一步地，在本发明的一个实施例中，所述通过人脸三维重建对所述人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非所述人脸图片中显示的人脸边缘点，而是所述人脸几何上两侧的边缘点。

进一步地，在本发明的一个实施例中，还包括：在训练时，输出为真或假以构成生成对抗误差，并将所述数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。

进一步地，在本发明的一个实施例中，所述误差项需要在所述生成对抗网络中，以用于所述神经网络的训练。