[发明专利]基于两步形状建模的三维人脸重建方法和系统

权利要求书

1.一种基于两步形状建模方案的真实感人脸重建方法，其特征在于，包括如下步骤：

(1)输入一张正面人脸照片，对输入的特定人脸特征点进行标定，获得二维特征点坐标；

(2)根据三维人脸库创建由多个三角片构成的中性人脸模型，在屏幕上选择一个点，三维模型编辑器以该点向无穷远处发射一条射线，搜索中性人脸模型上与该射线相交的三角片，选择该三角片上与交点最近的顶点作为所标定的三维特征点；

(3)根据三维人脸库中所有人脸模型的相应特征点构成稀疏形状向量，根据二维特征点的分布计算组合系数，从而估计二维特征点的深度值；将二维特征点坐标与估计的深度值进行组合，构建特征点的类三维坐标；

(4)以类三维特征点作为控制点，用狄利克里自由变形算法对中性人脸的所有顶点进行变形，生成特定人脸的几何模型；

(5)纹理合成及映射模块首先根据输入的人脸照片合成纹理图，然后将纹理图投影到几何模型上；

(6)对几何顶点上未被纹理覆盖的区域进行插值或块填充，完成纹理映射，生成三维人脸模型。

2.如权利要求1所述的方法，其特征在于，所述步骤(5)进一步具体包括，根据人脸主要特征点将人脸进行分割，对非特征区域按照人脸比例进行扩张以增加人脸图像覆盖的范围，从而合成人脸模型的纹理图。

3.如权利要求1所述的方法，其特征在于，所述步骤(6)进一步具体包括，以未被纹理覆盖着色的顶点为中心构造小块，如果小块未被纹理图着色的顶点数目高于总数的一半，则从周围选择颜色最接近的小块对此块进行整体填充着色，否则用插值的方法来完成该顶点的着色。

4.如权利要求1或3所述的方法，其特征在于，所述插值为将未被纹理覆盖区域的颜色值通过加权求和计算需要填充的空白点的插值颜色。

5.一种基于两步形状建模的真实感人脸重建系统，其特征在于，输入一张正面人脸照片，预处理模块对输入的特定人脸特征点进行标定，获得二维特征点坐标，根据三维人脸库创建由多个三角片构成的中性人脸模型，在屏幕上选择一个点，三维模型编辑器以该点向无穷远处发射一条射线，搜索中性人脸模型上与该射线相交的三角片，选择该三角片上与交点最近的顶点作为所标定的三维特征点；人脸几何形状重建模块根据三维人脸库中所有人脸模型的相应特征点构成稀疏形状向量，根据二维特征点的分布计算组合系数，从而估计二维特征点的深度值，将二维特征点坐标与估计的深度值进行组合，构建特征点的类三维坐标，以类三维特征点作为控制点，用狄利克里自由变形算法对中性人脸的所有顶点进行变形，生成特定人脸的几何模型；纹理合成及映射模块，对非特征区域进行扩张以增加人脸图像覆盖的范围，将扩张后的图像进行垂直投影，对几何顶点上未被纹理覆盖的区域进行修复，完成三维人脸的纹理映射，生成三维人脸模型。

6.如权利要求5所述的真实感人脸重建系统，其特征在于，纹理合成及映射模块采用插值和块填充方法对未被纹理覆盖的区域进行修复。

7.如权利要求6所述的真实感人脸重建系统，其特征在于，所述插值为将未被纹理覆盖区域的颜色值通过加权求和计算需要填充的空白点的插值颜色。