[发明专利]一种三维人脸模型训练方法、三维人脸重建方法及相关装置

权利要求书

1.一种三维人脸模型训练方法，其特征在于，所述方法包括：

对样本图像的眼部特征点进行增强处理，生成新的样本图像；

依据新的样本图像，经过三维人脸重建网络生成标准三维人脸模型，且依据未标记图像，经三维人脸重建网络生成待调整三维人脸模型；

分别确定所述待调整三维人脸模型中的待调整五官特征点和所述标准三维人脸模型中的标准五官特征点；

计算待调整五官特征点中上眼皮和下眼皮的第一损失惩罚项信息和待调整五官特征点与标准五官特征点的第二损失惩罚项信息；

将所述第一损失惩罚项信息和所述第二损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型；

在更新后的所述待调整三维人脸模型的三维人脸重建参数与标准三维人脸模型的三维人脸重建参数的差值大于阈值时，返回执行所述计算待调整五官特征点中上眼皮和下眼皮的第一损失惩罚项信息和待调整五官特征点与标准五官特征点的第二损失惩罚项信息至将所述第一损失惩罚项信息和所述第二损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型的步骤，直至最新的第一损失惩罚项信息和第二损失惩罚项信息满足眼睛贴合条件。

2.根据权利要求1所述的方法，其特征在于，所述对样本图像的眼部特征点进行增强处理，生成新的样本图像的步骤，包括：

针对每个所述样本图像，确定所述样本图像中人脸的眼睛特征点；

调整所述眼睛特征点中上眼皮的坐标点，使得所述上眼皮的坐标点向下眼皮的坐标点移动；

确定移动过程中的，所述上眼皮的坐标点处于不同位置的所有目标图像；

将所述样本图像和目标图像作为新的样本图像。

3.根据权利要求1所述的方法，其特征在于，所述对样本图像的眼部特征点进行增强处理，生成新的样本图像的步骤，包括：

确定所述样本图像中人脸的特征点和所述样本图像的边缘点；

基于所述特征点和所述边缘点，构建德洛内三角网络；

调整所述德洛内三角网络内，人脸特征点中眼睛特征点中上眼皮的坐标点，使得所述上眼皮的坐标点朝着下眼皮的坐标点移动；

对移动过程中的德洛内三角网络进行插值，得到移动过程中所述上眼皮的坐标点处于不同位置的所有图像；

将移动过程中的所有图像和所述样本图像作为新的样本图像。

4.根据权利要求1所述的方法，其特征在于，所述计算待调整五官特征点中上眼皮和下眼皮的第一损失惩罚项信息的步骤包括：

确定所述待调整五官特征点中左眼和右眼的闭眼标签；

分别确定所述待调整五官特征点中左眼的上、下眼皮的坐标和右眼的上、下眼皮的坐标；

基于左眼和右眼的闭眼标签、左眼的上、下眼皮的坐标以及右眼的上、下眼皮的坐标，计算待调整五官特征点中上眼皮和下眼皮的第一损失惩罚项信息。

5.根据权利要求4所述的方法，其特征在于，所述确定所述待调整五官特征点中左眼和右眼的闭眼标签的步骤，包括：

确定待调整五官特征点中左眼的上眼皮和下眼皮的第一距离和眼间距；

计算所述第一距离和所述眼间距的比值，作为左眼的闭眼标签；

确定待调整三维人脸模型中右眼的上眼皮和下眼皮的第二距离；

计算所述第二距离和所述眼间距的比值，作为右眼的闭眼标签。

6.根据权利要求4所述的方法，其特征在于，所述第一损失惩罚项信息，满足如下公式：

其中，flag_lefteye为待调整五官特征点中右眼的闭眼标签，flag_righteye为待调整五官特征点中左眼的闭眼标签，predict_{lefteye_upper_eyelid}为待调整五官特征点中右眼的上眼皮坐标，predict_{lefteye_lower_eyelid}为待调整五官特征点中右眼的下眼皮坐标，predict_{righteye_upper_eyelid}为待调整五官特征点中左眼的上眼皮坐标，predict_{righteye_lower_eyelid}为待调整五官特征点中左眼的下眼皮坐标。