[发明专利]三维人脸图像重建方法、装置和计算机可读存储介质

权利要求书

1.一种三维人脸图像重建方法，其特征在于，包括：

获取真实二维人脸关键点和预测二维人脸关键点；

通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，所述附加正则约束项用于约束所述表情系数，使所述表情系数表征人脸的真实状态，所述附加正则约束项由核心张量中的表情基向量构成，其中，所述核心张量还包括身份基向量；

通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和正则约束项组成的第二损失函数迭代优化出身份系数；

将所述表情系数和所述身份系数与所述核心张量做点积，得到所述三维人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多个人不同表情的三维人脸模型及各三维人脸模型上的三维人脸关键点；

将所述三维人脸模型和所述三维人脸关键点在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量，由所述表情基向量构成所述附加正则约束项。

3.根据权利要求2所述的方法，其特征在于，所述附加正则约束项为

其中，||·||表示向量二范数，λ_sym表示除眼睛以外的正则项系数，LB表示除眼睛以外的左半部分人脸的表情基向量的索引集合，RB表示除眼睛以外的右半部分人脸的表情基向量的索引集合，e_i表示眼睛以外的左半部分人脸的第i个表情系数，e_j表示眼睛以外的右半部分人脸的第j个表情系数；

或为

其中，λ_eye表示眼睛部分的正则项系数，LE表示与左眼相关的表情基向量的索引集合，RE表示与右眼相关的表情基向量的索引集合，e_i表示左眼相关的第i个表情系数，e_j表示右眼相关的第j个表情系数；

或为

4.根据权利要求3所述的方法，其特征在于，若所述附加正则约束项为所述第一损失函数为

或，若所述附加正则约束项为相应的，所述第一损失函数为

或，若所述附加正则约束项为相应的，所述第一损失函数为

其中，L_P表示预测二维人脸关键点位置，L_t表示真实二维人脸关键点位置，λ表示人脸整体正则项系数，e表示人脸整体表情系数。

5.根据权利要求3或4所述的方法，其特征在于，所述

其中，α表示单只眼闭合时的正则项系数，β表示两只眼闭合或两只眼睁开时的正则项系数。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

分别根据两眼上下眼皮的二维关键点的距离确定眼睛闭合状态；

根据所述眼睛闭合状态确定所述λ_eye的取值，且α小于β。

7.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述三维人脸模型和所述三维人脸关键点在身份维度进行分解，得到所述核心张量中的身份基向量；

根据包含身份基向量和表情基向量的所述核心张量得到所述预测二维人脸关键点。

8.根据权利要求7所述的方法，其特征在于，所述根据所述核心张量得到所述预测二维人脸关键点的步骤，包括：

根据预先设置的身份系数的初始值、预先设置的表情系数的初始值及所述核心张量构建初始三维人脸图像；

将所述初始三维人脸图像进行旋转平移操作，并通过小孔成像将所述初始三维人脸图像上的三维人脸标志点投影在图片上，得到所述预测二维人脸关键点。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过求解由所述真实二维人脸关键点和所述预测二维人脸关键点组成的第三损失函数迭代优化出旋转矩阵、平移向量和焦距中的至少一个参数；

采用上述至少一个参数对所述三维人脸图像进行校正。