[发明专利]一种三维人脸模型自动调整方法

权利要求书

1.一种三维人脸模型的自动调整方法，其特征在于：包括以下步骤：

(1)三维扫描仪获取三维人脸模型后，从三个角度获取三维人脸带纹理的投影图；

(2)利用OpenFace的API对步骤(1)中获取的人脸投影图进行特征点检测，获取二维图像上眼睛、鼻子、嘴、眉毛和脸部轮廓的共68个特征点；

(3)对步骤(2)中获取的二维图像中的特征点反投影到三维模型上，获取三维模型的特征点；

(4)使用PCA脸部模型拟合原始的三维人脸模型，利用PCA脸部模型特征点与步骤(3)中获取的三维特征点对应来增加拟合精度，得到初始对齐网格；

(5)对步骤(4)中生成的初始对齐网格进行3D配准，通过求解能量方程得到最终对齐网格；

(6)对步骤(5)中得到的最终对齐网格重新计算纹理坐标，得到配准后的三维人脸模型；

(7)对步骤(6)中得到的配准后的三维人脸模型进行美化调整，得到调整后的三维人脸模型。

2.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(1)中获取三个角度投影图的方法如下：

(2-1)先将三维扫描仪获取的三维人脸模型放置于指定的空间坐标系中，使z轴正方向与人脸的正面方向一致，y轴正方向与人脸的头顶方向一致，提取正方向人脸带纹理的投影图；

(2-2)将人脸以y轴为旋转轴，视线沿着y轴正方向顺时针旋转15度，提取右侧人脸带纹理的投影图；

(2-3)将人脸以y轴为旋转轴，视线沿着y轴正方向逆时针旋转30度，提取左侧人脸带纹理的投影图。

3.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(2)中使用OpenFace的API对步骤(1)中获取的三个角度人脸投影图分别识别出人脸68个特征点，其中眉毛区域特征点、鼻子区域特征点、嘴唇区域特征点和下颌特征点从人脸正脸投影图中检测出的特征点获取，左侧脸颊区域的特征点从左侧人脸投影图中检测出的特征点获取，右侧脸颊区域的特征点从右侧人脸投影图中检测出的特征点获取。

4.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(3)中将二维特征点反投影到三维特征点的方法如下：根据眼睛、鼻子、嘴、眉毛、脸部轮廓特征点在二维投影中的位置，获取当前角度下投影到当前像素点对应的三维网格上的点，并计算在三维人脸上离该点最近的三维顶点，将这个顶点作为二维特征点对应的三维特征点。

5.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(4)中使用PCA脸部模型拟合原始的三维人脸模型方法如下：

(5-1)使用PCA脸部模型方法对200张3D扫描的人脸模型训练得到PCA脸部模型；

(5-2)在PCA脸部模型上标记好68个用于三维配准的特征点和55个用于人脸美化的特征点；

(5-3)用PCA模型拟合原始的三维人脸模型，并利用PCA脸部模型的三维配准特征点与步骤(3)中获取的三维特征点对应来增加拟合精度，得到初始对齐网格。

6.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(5)为获取更高精度，对步骤(4)中生成的初始对齐网格进行3D配准得到最终对齐网格设置的能量方程式如下：

其中：

表示最终网格上的点到原始网格上的对应点距离的平方和；

表示最终网格上的点到根据PCA拟合出的人脸模型对应点的距离平方和，其中表示PCA矩阵基底的第到行，表示各个主元的权值，表示平均人脸的第个顶点的坐标；

表示最终网格上每条边到初始网格经过局部刚性变换后边的距离平方和，其中表示第个顶点的旋转矩阵。