[发明专利]基于网格变形和连续优化的高分辨率人脸重建方法

权利要求书

1.基于网格变形和连续优化的高分辨率人脸重建方法，其特征是，所述建模方法包括如下步骤：

(a)、利用摄像机对中性表情人脸进行拍摄，得到至少两张不同拍摄角度的人脸图像；并在一幅正面的人脸图像中指定内眼角、嘴角、鼻尖五个特征点；

(b)、对输入的每幅图像进行角点检测，建立相邻图像的角点对应关系，去除错误的角点对应关系；

(c)、应用基于“束调整”的运动重建技术求得五个特征点的三维坐标、图像之间对应角点所对应的三维点坐标以及每幅图像对应的相机内外部参数；

(d)、对输入的每幅图像进行人脸分割；

(e)、将人脸模板刚性配准到三维特征点；

(f)、基于非线性连续优化技术对模板网格模型进行迭代的光滑的网格变形，使得变形后的模板的投影与每幅图像尽可能一致；

(g)、根据所述重建的高分辨率人脸模板及相应的人脸图像，得到相应的纹理图，利用所述纹理图进行视点独立或视点依赖的纹理映射，得到相应的真实感人脸；

2.根据权利要求1所述基于网格变形和连续优化的自动重建高分辨率人脸方法，其特征是：所述步骤(a)中，利用摄像机拍摄人脸图像时，所述摄像机拍摄相邻人脸图像的拍摄角度差为10～40°。

3.根据权利要求1所述基于网格变形和连续优化的重建高分辨率人脸重建方法，其特征是：所述步骤(b)中，先对每幅图像进行角点检测，再根据两个角点的规范化关联对相邻图像的角点进行粗匹配，最后相邻图像的匹配角点应用随机采样调查法(Random Sample Consensus，RANSAC)方法计算极几何约束关系的基础矩阵及所有匹配角点的匹配程度，选取最佳匹配的基础矩阵并由此筛选掉那些错误的角点对应关系。

4.根据权利要求1所述基于网格变形和连续优化的自动重建高分辨率人脸方法，其特征是；所述步骤(c)中，先根据两幅正面图像的对应特征点和角点，应用基于“束调整”的从运动恢复结构的优化技术确定相机的内外参数、特征点和角点的三维坐标，再从这两幅已知相机内外参数的图像出发，对与之相邻的图像根据已知的具有对应角点的三维坐标和在邻接图像中的二维图像坐标，通过非线性最小二乘方法确定邻接图像的相机外部参数，再根据此外部参数进一步用非线性最小二乘方法确定那些对应二维图像角点的三维坐标。应用这种方法，可依次从已知相机外部参数的图像确定其邻接图像的相机外部参数和两幅图像的所有对应角点的三维坐标，直到所有图像的相机外部参数都确定为止。

5.根据权利要求1所述基于网格变形和连续优化的自动重建高分辨率人脸方法，其特征是：所述步骤(d)中对输入的每幅图像进行人脸分割的方法，根据从步骤(c)中获得的5个特征点确定一个包围实际人脸的椭球体，根据椭球体到每幅图像的投影平面的投影大致确定图像中不属于人脸区域的背景区域，并按照黑白间隔的方式将每幅图像的背景设置为黑色或白色。

6.根据权利要求1所述基于网格变形和连续优化的自动重建高分辨率人脸方法，其特征是：所述步骤(e)中将人脸模板刚性配准到三维特征点的方法，对人脸模板中和从图像中恢复的5个三维特征点分别建立相应的直角坐标系，并根据直角坐标的相对变换将人脸模板配准到从图像中恢复的5个三维特征点，所述的配准意思指对应特征点距离的累加和尽可能小。

7.根据权利要求1所述基于网格变形和连续优化的自动重建高分辨率人脸方法，其特征是：所述步骤(f)中的“基于非线性连续优化技术对模板网格模型进行迭代的光滑的网格变形，使得变形 后的模板的投影与每幅图像尽可能一致”，定义了由保持细节的能量E_d、光滑变形能量E_s、特征点约束能量E_c、图像一致性约束能量E_l等通过加权平均构成的变形能量，通过求解该能量最小的优化问题得到重建的高分辨率三维模型所有新顶点的坐标。

(s1)、定义保持细节的能量E_d，所述E_d为：

其中，|| ||_F为Frobenius范数，T_i为第i个三角形的仿形变换矩阵；N为人脸模板的三角形个数，I为单位矩阵；

(s2)、为保持相邻三角形变换的光滑性，定义光滑变形能量E_s，所述E_s为：

其中，j∈adj(i)表示j与i为相邻的两个两个三角形的下标；T_i为第i个三角形的仿形变换矩阵，T_j为第j个三角形的仿形变换矩阵；|| ||_F为Frobenius范数：

(s3)、所述的特征点约束能量E_c定义为： 

其中，Q为人脸模板内特征点的个数；y为人脸模板上的特征点，p为从实际人脸图像恢复的三维特征点；特征点约束能量E_c使得变形后的人脸模型上特征点尽可能与基于立体视觉恢复的三维特征点尽可能接近；

(s4)、所述的图像一致性约束能量E_I，所述E_I为：

其中，M为摄像机从不同角度拍摄的图像总数，ImageB∈adj(ImageA)表示ImageA与ImageB为具有相邻拍摄角度的图像；Tri为在ImageA、ImageB中均可见的人脸模型中的三角形，P为三角形Tri上的一点；

(s5)、根据保持模型细节，图像一致性及特征点一致性的三个约束能量，构建非线性优化的总能量E，所述总能量E为：

E＝w_dE_d+w_sE_s+w_cE_c+w_lE_l；

其中，w_d、w_s、w_c、w_l分别为保持细节的能量E_d、光滑变形能量E_s、特征点约束能量E_c及图像一致性约束能量E_l相对应的加权值；

(s5)、利用Levenberg-Marquardt算法对所述总能量E进行优化，得到所述人脸模板相对应的变形网格，使人脸模板与人脸图像尽可能相匹配。

实际的变形优化实现可以通过多次求解不同加权系数的总能量E以便改进人脸模板变形匹配图像的收敛速度，例如一开始可以给予w_c、w_l很小的权值，然后逐步加大w_l、w_c的权值。上述总能量E中无需特征点约束能量E_c也同样能重建同样质量的三维人脸，同样，上述总能量E也不排除增加其他的能量约束以提高重建人脸模型的质量，例如可以定义交互约束能量：指定三维模型上点在二维图像中的对应位置或在二维图像中描绘人脸的某特征曲线。