[发明专利]人脸几何模型提取、3D人脸重建方法、设备及存储介质

权利要求书

1.一种人脸几何模型提取方法，其特征在于，包括以下步骤：

获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；

获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；

调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数R、平移参数t。

2.根据权利要求1所述的一种人脸几何模型提取方法，其特征在于，所述方法还包括：

对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；

在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；

所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：

在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。

3.根据权利要求2所述的一种人脸几何模型提取方法，其特征在于：所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：

对分割出的每个语义分割区域依次进行以下迭代操作：在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。

4.根据权利要求2或3所述的一种人脸几何模型提取方法，其特征在于：所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标还包括：

调整人脸几何模型的相关参数及与所有语义分割区域对应的人脸几何模型顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值。

5.根据权利要求2所述的一种人脸几何模型提取方法，其特征在于：所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值包括：

将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；

根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；

求取损失函数对人脸几何模型的相关参数的导数；

利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。

6.根据权利要求1所述的一种人脸几何模型提取方法，其特征在于：所述获取至少一个人脸图像的初始人脸几何模型包括：

提取人脸图像的2D关键点；

根据关键点将图像的人脸对齐到一标准的参考坐标系下，得到归一化的人脸图像；

将所述归一化的人脸图像输入至已训练完成的参数回归模型中得到与人脸图像相对应的3D人脸模型系数和人脸模型相对相机坐标系的外参数；

根据3D人脸模型系数和人脸模型相对相机坐标系的外参数得到初始人脸几何模型。

7.根据权利要求6所述的一种人脸几何模型提取方法，其特征在于，所述方法还包括：对初始几何模型进行顶点插值和/或网格平滑处理。

8.一种3D人脸重建方法，其特征在于，包括以下步骤：

采用上述权利要求1-7任一种人脸几何模型提取方法得到人脸几何模型；

基于人脸几何模型从人脸图像中提取人脸纹理图；

将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；

将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。