[发明专利]一种三维人脸模型训练方法、三维人脸重建方法及相关装置

说明书

本发明的实施例提供了一种三维人脸模型训练方法、三维人脸重建方法及相关装置，对样本图像进行增强处理，生成新的样本图像，在不增加成本的情况下尽可能增加样本图像的数量，使得在对模型训练时，提高模型的精确度。通过待调整三维人脸模型中的五官特征点的第一损失惩罚项信息，和待调整三维人脸模型中五官特征点与标准三维人脸模型中的五官特征点，反复迭代计算第一损失惩罚项信息和第二损失惩罚项信息，增强三维人脸重建网络对眼睛闭眼的学习，从而构建出的三维人脸模型的眼睛的特征点与标准眼睛特征点尽可能的贴合，从而使得生成的三维人脸特效、数字人以及三维美妆的表情的驱动更加自然。

技术领域

本发明涉及三维人脸重建技术领域，具体而言，涉及一种三维人脸模型训练方法、三维人脸重建方法及相关装置。

背景技术

目前三维技术越来越成熟，三维技术会应用在三维人脸特效需求、数字人需求以及三维美妆需求中。其中三维美妆需求对三维人脸贴合度及准度要求较高，特别是一些脸部细节上的要求。

目前现有技术中，生成的三维人脸特效、数字人以及三维美妆中的眼部贴合效果不佳，从而影响生成的三维人脸特效、数字人以及三维美妆的表情的驱动。

发明内容

本发明的目的包括，例如，提供了一种三维人脸模型训练方法和装置，其能够解决在生成三维效果时，眼部效果不贴合的问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种三维人脸模型训练方法，所述方法包括：

对样本图像的眼部特征点进行增强处理，生成新的样本图像；

依据新的样本图像，经过三维人脸重建网络生成标准三维人脸模型，且依据未标记图像，经三维人脸重建网络生成待调整三维人脸模型；

分别确定所述待调整三维人脸模型中的待调整五官特征点和所述标准三维人脸模型中的标准五官特征点；

计算待调整五官特征点中上眼皮和下眼皮的第一损失惩罚项信息和待调整五官特征点与标准五官特征点的第二损失惩罚项信息；

将所述第一损失惩罚项信息和所述第二损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型；

在更新后的所述待调整三维人脸模型的三维人脸重建参数与标准三维人脸模型的三维人脸重建参数的差值大于阈值时，返回执行所述计算待调整五官特征点中上眼皮和下眼皮的第一损失惩罚项信息和待调整五官特征点与标准五官特征点的第二损失惩罚项信息至将所述第一损失惩罚项信息和所述第二损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型的步骤，直至最新的第一损失惩罚项信息和第二损失惩罚项信息满足眼睛贴合条件。

在可选的实施方式中，所述对样本图像的眼部特征点进行增强处理，生成新的样本图像的步骤，包括：

针对每个所述样本图像，确定所述样本图像中人脸的眼睛特征点；

调整所述眼睛特征点中上眼皮的坐标点，使得所述上眼皮的坐标点向下眼皮的坐标点移动；

确定移动过程中的，所述上眼皮的坐标点处于不同位置的所有目标图像；

将所述样本图像和目标图像作为新的样本图像。

在可选的实施方式中，所述对样本图像的眼部特征点进行增强处理，生成新的样本图像的步骤，包括：

确定所述样本图像中人脸的特征点和所述样本图像的边缘点；

基于所述特征点和所述边缘点，构建德洛内三角网络；

调整所述德洛内三角网络内，人脸特征点中眼睛特征点中上眼皮的坐标点，使得所述上眼皮的坐标点朝着下眼皮的坐标点移动；