[发明专利]一种基于多层形变模型的高保真人脸三维重建方法

说明书

技术领域

本发明属于计算机视觉领域，具体涉及一种基于多层形变模型的高保真人脸三维重建方法。

背景技术

三维重建是计算机视觉、计算机图像和计算机图形学的领域，也是重要的图形学图像学交叉点，而针对于人脸的三维重建更是在人脸识别、个性定制化游戏、虚拟现实和安全部门的等领域拥有广泛的应用。然而人脸具有独一无二性和多变性，这也就给人脸重建的研究带来了挑战。

人脸三维重建目前亟需突破的问题是如何提高计算速度，降低重建误差。因为相对于基于普通RGB图像序列的三维重建，基于三维扫描仪和速度和精度是非常高的，基于深度相机的人脸三维重建也在不断的兴起，计算速度和精度也较高。但是三维扫描仪造价非常昂贵，深度摄像机也很难普及，而且对于网络上的人脸图像的重建也是基于RGB图像的重建，因此三维扫描仪和深度相机也无法进行广泛应用。

人脸三维重建技术可以分成两种方法，一种是硬件的方法比如多视图摄像机，构造光源法，深度传感器，或者三维扫描仪。这些方法可以被应用在获取精确的三维人脸模型数据，但是，它具有较高的花费需要图像处理，相机标定。为了能够克服这些困难，一个单目相机的方法被提出来去重建三维人脸。人脸三维重建算法最早可以追溯到1999年V.Blanz和T.Vetter在提出的基于单幅图像的人脸三维重建方法，使用的方法三维形变模型成为主流的人脸三维重建方法之一。该方法首先采集大量人脸三维信息，然后训练一个平均稠密的人脸模型，利用特征值描述的方法表达人脸三维模型。输入单幅图像之后，将平均人脸三维模型进行投影和变形与输入图像进行误差分析，使用优化方法调整投影矩阵和人脸型变参数来最小化图像误差，当误差最小值后也就得到了这个图像的人脸三维模型。

但是由于稠密模型中点非常多导致需要优化的参数非常多，直接根据稠密模型进行优化计算量无疑非常大。因此在2010年U.Park,Y.Tong,和A.K.Jain提出了简化的三维形变模型。首先提取人脸特征点，人脸特征点是脸部特征(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置，能够精确的定位人脸的基本特征，经常使用在人脸识别中。由人脸特征点组成稀疏人脸。然后利用三维形变模型的优化方法，将优化的目标变成输入图像上的人脸特征点和稀疏人脸的投影形变，进一步减少了计算量；最后利用薄板样条法形变生成稠密人脸。

三维重建的一个重要的方法是运动恢复结构技术，其是目前三维重建的主流方法之一。运动恢复结构技术流程如下：首先是获取目标物体的图像序列，在进行处理目标图像之前，利用相机拍摄目标物体的多幅图像或者用摄像机拍摄视频图像。光照条件和拍摄效果对处理的影响较大，因此需要光照充足并且平稳拍摄。然后是提取特征点，特征点的形式与匹配算法联系紧密。因此在进行特征点的提取时需要先确定用哪种匹配方法。接下来是相机标定，通过相机的成像原理与模型建立优化模型，求解并恢复相机的内参数和相机位置，然后结合图像中特征点的匹配，重建出空间中对应的三维点坐标，从而达到进行三维重建的目的。相机标定之后可以重建出稀疏的三维点云。稠密扩展，以稀疏点云为种子点进行稠密扩展，生成稠密三位点云。表面重建，用表面重建方法进行三角网格化，生成三维模型表面。经过真实纹理映射生成最后的三维纹理模型。

这种只需要多幅图像就可以重建物体三维模型的方法被引入了人脸三维重建中。运动恢复结构技术在三维人脸重建中克服了很多三维形变模型的缺点，比如计算时间长，偏向平均人脸模型，需要大量采集人脸三维数据，耗费人力物力等。只要对着人脸进行不同角度拍摄就可以重建三维人脸。而运动恢复结构需要多个角度拍摄，拍摄对于重建比较重要，拍摄越多不同角度的图像重建结果越真实，并且最后从多张图片提取进行，但是由于人脸具有很多缺乏纹理的光滑区域，特征点很难提取准确，因此重建结果可能会出现表面噪声空洞。而三维形变模型只一张图片就可以进行重建，并且即使重建出现错误，能够保证结果与目标人脸有一定相似性。

发明内容

本发明提出一种基于多层形变模型的高保真人脸三维重建方法，克服了上述两种三维重建技术目前存在的局限性，例如基于人脸形变模型的趋于平均脸和纹理不真实等缺点，基于运动恢复结构方法的表面噪声空洞等缺点，以目标人脸视频作为基本数据内容，以处理人脸三维数据库为准备工作，进一步地，提出了人脸多层形变模型，平均脸模型在人脸的特征层次和细节层次进行全局形变和局部形变，从而构建相似度高、表面光滑、效果真实的目标人脸三维模型，因而尤其适用于人脸识别、个性定制化游戏、虚拟现实和安全部门存档等应用场景中。