[发明专利]一种自动多视角人脸自拍图像的三维人脸重建方法及系统

权利要求书

1.一种自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，包括如下步骤：

步骤一、对同一个人的多个视角的人脸图像进行自动标记点定位；

步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为x_i为第i个人脸图像I_i上定位的标记点m_i＝{x₁,x₂,…,x_n}，X_i为参考人脸模型上的标记点M_i＝{X₁,X₂,…,X_n}，m_i与M_i一一对应，参数P_i表示三维点到图像I_i的投影变换矩阵，n为标记点个数；

步骤三，建立重建目标函数E＝E_data+E_color+E_smooth，对重建目标函数优化，使用多标签图像分割算法求解该重建目标函数得到三维人脸模型；

重建目标函数定义为E＝E_data+E_color+E_smooth；

其中，数据项为i是二维图像空间上的每个像素，表示待估计模型上像素i对应的深度，D_i表示参考模型上像素i对应的深度；

多视角颜色一致项为

其中，(k₁,k₂)表示不同视角对，P_k即视角k对应的投影矩阵，表示待估计模型上像素i对应的三维空间中的三维点；

深度平滑项为其中，N(i)是待估计模型上像素i所在的邻域集，分别表示待估计模型上像素i，j对应的深度。

2.根据权利要求1所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，所述步骤一中采用基于回归的方法或基于局部优化的方法对每个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓。

3.根据权利要求2所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。

4.根据权利要求2所述的自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，所述参考人脸模型上的标记点提前进行标记。