[发明专利]一种自动多视角人脸自拍图像的三维人脸重建方法及系统

摘要

本发明公开了一种自动多视角人脸自拍图像的三维人脸重建方法，包括对同一个人的多个视角的人脸图像自动定位标记点；根据定位出的标记点与参考人脸模型上对应的标记点建立目标函数求解摄像机参数；设计重建目标函数，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，并使用多标签图像分割算法求解。本发明方法可重建出稠密精细的三维人脸模型，同时该方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。

主权项

一种自动多视角人脸自拍图像的三维人脸重建方法，其特征在于，包括如下步骤：步骤一、对同一个人的多个视角的人脸图像进行自动标记点定位；步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到图像Ii的投影变换矩阵，n为标记点个数；步骤三，建立重建目标函数E＝Edata+Ecolor+Esmooth，对重建目标函数优化，使用多标签图像分割算法求解该重建目标函数得到三维人脸模型；重建目标函数定义为E＝Edata+Ecolor+Esmooth；其中，数据项为i是二维图像空间上的每个像素，表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；多视角颜色一致项为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示待估计模型上像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是待估计模型上像素i所在的邻域集，分别表示待估计模型上像素i，j对应的深度。