[发明专利]一种自动多视角人脸自拍图像的三维人脸重建方法及系统

说明书

技术领域

本发明涉及计算机视觉领域，特别涉及一种自动多视角人脸自拍图像的三维人脸重建方法及系统。

背景技术

人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别等领域有着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计算机辅助设计等领域研究者的重视。从数据采集的角度出发，三维人脸重建主要分为主动测距设备和被动成像设备。主动测距设备如激光扫描仪，能够扫描得到静态物体精确的三维信息，然而其价格昂贵、扫描时间长、扫描范围有限，很难用于实时性要求较高的应用；相对的，深度摄像机能够实时采集动态物体，然而其对应生成的深度图分辨率低、精度低、噪声大。被动成像设备使用最普遍的是摄像机，由于设备简单价格低廉，且目前已存在大量二维人脸图像，因此从多视角二维人脸图像中恢复三维人脸结构的方法得到广泛关注。由于人脸图像纹理稀疏，因此需要解决特征点匹配过程中存在的二义性问题。

文献【Y.Lin,G.Medioni,and J.Choi.Accurate 3d face reconstruction from weakly calibrated wide baseline images with profile contours.In Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on,pages 1490–1497.IEEE,2010.】提出一种弱标定条件下，基于宽基线的多视角人脸重建方法。该方法输入五个不同姿态(0度正脸、正负45度、正负90度侧脸)下的人脸图像，。通过寻找任意三个相邻视角下稳定的匹配点估计摄像机相对位置关系，再结合多视角颜色一致性、平滑性以及侧面人脸轮廓信息分别在圆柱坐标系下水平、垂直方向建立基于体素的目标函数并求解。但是，实际应用中，自动获取的侧面轮廓往往无法满足重建精度的要求；另一方面，从实验结果看到，该方法重建的人脸模型在某些视角下存在较大形变。由于人脸图像纹理特征稀疏，该类基于特征点匹配的方法在找不到对应点时便会失效。

文献【H.Han and A.K.Jain.3d face texture modeling from uncalibrated frontal and profile images.In Biometrics:Theory,Applications and Systems (BTAS),2012 IEEE Fifth International Conference on,pages 223–230.IEEE,2012.】提出了一种基于两幅图像(如0度正脸和90度侧脸)的三维人脸重建方法。该算法主要基于三维形变模型(3DMM)，并结合人脸标记点：首先利用正面人脸标记点估算形变和纹理参数；再进一步利用侧面标记点进行模型修正。该算法同样依赖于手动标记的侧面人脸标记点；同时，重建出来的人脸模型在某些视角(如45度)下存在一定程度的形变。另外，该类基于3DMM的人脸重建方法需要结合一个对齐好的三维人脸数据库，重建结果由人脸数据库线性叠加得到，因此该类方法依赖于对齐好的先验数据库，且缺乏描述三维人脸细节的能力。

现有的基于多视角图像的人脸重建方法的不足主要为：1)由于人脸图像纹理特征稀疏的特殊性，基于传统特征点匹配的方法在实际应用中不适用，很难用传统的基于特征点匹配的方法来获得稠密的三维数据；2)需要繁琐的人工交互；3)依赖于外部三维人脸数据库，且重建结果的精确度依赖于数据库的丰富程度。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种自动多视角人脸自拍图像的三维人脸重建方法及系统，其可重建出稠密、精细的三维人脸模型，同时该重建方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。

为了实现上述发明目的，本发明采用的技术方案是：一种自动多视角人脸自拍图像的三维人脸重建方法，包括如下步骤：

步骤一、对同一个人的多个视角的人脸图像自动定位标记点；

步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数Pi；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为标记点个数；

步骤三，建立重建目标函数并优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。