[发明专利]一种基于端到端卷积神经网络的人脸三维重建方法

说明书

本发明公开了一种基于单张人脸图片的人脸三维重建方法，该方法基于端到端卷积神经网络，为了充分发挥深度卷积神经网络的能力，将人脸三维模型编码到二维点坐标图，并且提出了一种新的更适合人脸重建的损失函数，可以直接使用一个轻量级的端到端网络来学习和预测。同时，该算法还能进行人脸对齐，得到准确的三维人脸关键点坐标。在多个公开的人脸数据集上的对比实验表明，本发明仅使用单张人脸图片就可以重建出准确的人脸三维模型。相比于已有的人脸重建方法，本发明提出的方法在精度和速度上都有较大的提升。

技术领域

本发明涉及三维重建领域，尤其涉及一种针对基于单张图片的三维人脸重建方法。

背景技术

人脸是人最具辨别度的部位，每个人的人脸都不尽相同。我们可以通过人脸的外形特征，如鼻梁的高低、眼窝的深浅、眼睛的大小和嘴唇的厚薄快速判断一个人的身份、地域和种族。这些外形特征也是人脸识别发挥作用的前提条件之一。日常生活中，除了语言之外，人们还会使用大量的面部表情来交流和传递信息。人脸是了解一个人最重要的窗口之一，人的喜怒哀乐都反映在面部表情上。人脸相关的应用是计算机视觉中最重要的领域之一，如人脸检测、人脸识别、人脸定位、人脸对齐和人脸重建等。

三维重建是计算机图形学和视觉领域中的基础性工作，人脸三维重建是三维重建领域中最重要也是历史最为悠久的分支，在影视动画和游戏娱乐等领域中的应用非常广泛，是真实感渲染、人脸表情捕捉和表情动画重定向等应用的基石。

人脸重建被在很多领域被广泛使用。游戏行业中，从游戏三维化开始，就有大量的人类角色和拟人化的角色被创建出来。随着硬件水平的提升，这些角色越来越生动、写实，这就需要高精度三维人脸模型。影视动画行业中，随着影视特效和计算机动画的普及，越来越多的通过计算机创建、编辑的角色出现在荧幕和屏幕上，这背后离不开表情捕捉和三维重建技术的发展。

传统影视动画行业和游戏娱乐领域需要用到大量的人物角色模型，其中很大一部分需要专业的三维建模师手工建模，这个过程非常耗费时间和精力。而自动化人脸三维重建方法能极大减少这部分的重复工作，从而节约人力资源，提高生产效率。

近年来，随着手机硬件水平的提高，出现了大量虚拟现实和增强现实的游戏及应用。许多与人脸相关的新需求不断涌现，例如实时换脸、虚拟化身、虚拟化妆和虚拟试戴等，而人脸三维重建是这些应用最重要的基石之一。手机等移动平台受限于硬件水平和电池容量，对于人脸三维重建算法的效率提出了更高的要求。

发明内容

本发明的目的在于针对普通的单张人脸图片快速重建出对齐的人脸的三维模型这个问题，提供了一种基于端到端卷积神经网络的三维人脸重建方法。

本发明的目的是通过以下技术方案来实现的：一种基于端到端卷积神经网络的人脸三维重建方法，包括如下步骤：

(1)获取模板人脸:基于公开的Basel人脸数据库中的平均人脸三维模型，去除每个顶点的三维坐标值，只保留顶点之间的连接关系和每个顶点的二维UV坐标，将第i个顶点的二维 UV坐标记做uv_i；

(2)处理训练数据集：基于公开的AFLW2000人脸数据集，处理成本发明需要的格式，包含如下几个子步骤：

(2.1)扩充训练数据：对于AFLW2000人脸数据集中的每张人脸图片，使用水平翻转、绕图片中心旋转随机角度、在水平方向上平移随机距离、在垂直方向上平移随机距离和用用随机图片遮挡等方式扩展生成多张新的人脸；

(2.2)编码人脸三维模型：对于训练数据集中的每个人脸模型，将其中的每个顶点按如下方式变换以和人脸图片对齐：

v′_i＝T_i·R_i·S_i·v_i