[发明专利]一种基于单张图片的三维人脸重建方法

说明书

本发明公开了一种基于单张图片的三维人脸重建方法，包括步骤：1)基于FLAME模型的脸部重建(脸部重建)；2)FLAME网格脸部细节增强(细节增强)；3)FLAME网格贴图补全(贴图补全)。主要流程：给定输入人脸图像，该算法首先使用从图像提取的人脸特征点并结合FLAME网格的三维特征点，建立特征点匹配能量，求解出人脸形状，接着借助图像中人脸区域的高频信息，引导人脸高度场的网格顶点移动，重建精细脸部细节，最后通过构造的FLAME反照率率参数化模型对人脸贴图进行补全，并去除光照信息。本发明解决的是针对单张图片的三维人脸重建问题，可以应用于人脸重建、人脸动画制作。

技术领域

本发明涉及计算机图形学和三维动画制作的技术领域，尤其是指一种基于单张图片的三维人脸重建方法。

背景技术

人类既是各种活动的主体，又是很多应用的对象，因而虚拟现实应用大都不可避免以人为中心。人体表面形状及其运动的重建在这类应用中起到关键作用，从日常生活、游戏动画、教育培训到工业设计，构建高度真实的个性化虚拟人体静态模型和动态几何都日渐显示出其重要性。例如，在虚拟试衣中，除了身体形状和运动信息，试衣人的脸部表情、头发飘舞等，都会对体验效果产生影响。而在很多虚拟现实应用中，场景中的人物外观的逼真程度是衡量沉浸感强弱的一个重要指标。

好在对某类物体进行三维建模时，有很多先验知识可以利用。比如人体一般都有相同的拓扑，人体形状都是在一个标准形状的基础上作一定范围变化等。这使得基于数据驱动的方法成为可能。另一方面，由于智能手机的日益普及，我们可以轻而易举地获取个人的自拍照片。此外，通过各大图像搜索引擎，我们能轻易获得大量明星、名人和普通百姓的照片。因此，通过图像的方式来构建个性化人物头部模型是一个经济实惠、方便快捷且极具吸引力的一种方式。

人脸重建技术已经被研究超过了20年，研究人员从各个研究角度提出了许多优秀的三维参数化模型以及相关模型的重建算法。在数字几何处理中，一般用网格M＝(V,E,F)来表示几何形状，其中V，E，F分别为顶点坐标、边和面的集合。记V＝{v_i,i＝1,...,n_V}，n_V是顶点数，v_i是顶点坐标。则构成3n_V维空间中的点，如果所有人脸形状及姿态都用相同拓扑的网格来表示，则构成一个形状空间。形状空间只是的子空间。因此，可用个数远小于3n_V的参数来描述人脸的形状及姿态，这就是所谓的参数化表示。

FLAME是一种人脸表情参数化表示模型，其用CAESAR数据库的头部数据学习形状参数模型，用D3DFACS数据库中的三维模型序列学习表情模型参数。FLAME模型对于形状和表情的表达能力比3DMM，双线性参数化模型更强，可得到更准确的重建结果。FLAME模型相比上述模型，除了能对脸部建模外，其还包含了完整的人眼，颈部部分，可以构建一个更完整头部模型。本发明基于FLAME这个参数化模型来进行人脸重建。

发明内容

本发明针对目前人脸重建工作完整度不足的问题，提出了一种基于单张图片的三维人脸重建方法，可以根据人脸图像重建一个比较良好的人脸模型，具有较好的人脸细节，同时网格点数较少，有利于实时环境中的应用。

为实现上述目的，本发明所提供的技术方案为：一种基于单张图片的三维人脸重建方法，包括以下步骤：

1)脸部重建

使用单张图片来重建人脸，其核心是求解参数化模型FLAME模型参数，让该参数下FLAME模型对应的网格的三维特征点与人脸图像中检测的二维特征点对齐；

2)细节增强

对步骤1)得到的人脸网格形状进行细节增强，其核心是使用图像中的高频信息引导网格顶点移动，目的是使人脸网格形状具有更丰富的细节，如皱纹，疙瘩等，并且这些细节符合输入的人脸图像；

3)贴图补全