[发明专利]一种基于球坐标位置图的单视图三维人脸重建方法

说明书

本发明公开了一种基于球坐标位置图的单视图三维人脸重建方法，包括步骤：1)输入包含人脸的单视图，检测出图中人脸所在位置；2)根据检测出的位置裁剪出单视图上的人脸图像，转换为固定的大小后进行预处理；3)将预处理后的图像输入到编码器，编码器输出特征图；4)将提取的特征图输入到解码器，解码器输出球坐标表示的位置图；5)将球坐标表示的位置图转换为笛卡尔坐标位置图，根据转换后的位置图重建三维人脸。本发明方法具有计算速度快，内存资源消耗小，方法的泛化性能好，能够精准重建复杂环境下的人脸等优点。

技术领域

本发明涉及图像处理的技术领域，尤其是指一种基于球坐标位置图的三维人脸重建方法。

背景技术

三维人脸重建是指从单张或多张二维人脸图像中提取脸部信息，并基于脸部信息重构三维人脸的过程。三维人脸重建在刑事侦查、娱乐游戏以及医学图像方面等领域有着极高的应用前景。

人脸由各种复杂的生物组织构成，比如骨骼、肌肉以及眼睛等器官。人的头骨决定了人脸的轮廓，皮肤反映了人脸的外观，各种肌肉组织的协调以及变形下产生了人脸的各种表情。并且人脸的光照性十分复杂。即使是同一张脸，由于皱纹、毛发以及肤色等的影响，在不同环境下也会导致人脸呈现出不同的光照效果。因此重建具有真实感的三维人脸对当前的计算机图像处技术来说是个挑战。

具体的，三维人脸重建就是要根据二维人脸图像的信息推断出三维人脸，且该三维人脸与二维人脸图像中的人脸在一定范围内下保持一致。传统的三维人脸重建都需要使用到通用的三维人脸模型，如三维形变模型(3D Morphable Model，3DMM)，通过二维人脸图像对3DMM模型系数的预测便能够重建相应的三维人脸，即代表三维人脸的三维点集。与3DMM相似的通用三维人脸模型有很多，如大型面部模型(Large Scale Facial Model，LSFM)，它们在本质上都是使用三维点集表示三维人脸，而调整模型的系数便能够控制三维人脸形状。除此之外，还有使用三维网格描述人脸的通用模型。

如上所述，通过提取二维图像中的人脸信息，精准地预测相应的三维人脸模型系数，从而精准地重建三维人脸，这便是基于模型的三维人脸重建方法核心。然而，当前除了基于模型的三维人脸重建方法，研究者还提出了许多非模型方法。基于模型的三维人脸重建方法总是受限于模型所包含的信息，并且对于模型无法涵盖的人脸细节无法有效重建。因此，为了解决这个问题，研究者设计了各种非模型方法。基于位置图进行三维人脸重建便是一种非模型方法，它的本质是直接回归三维人脸模型中所有顶点在笛卡尔坐标系中的位置，而不需要经过预测模型系数再计算三维人脸模型顶点位置。

基于位置图进行三维人脸重建的方法使用包含人脸的二维图像回归代表相应三维人脸的位置图，其原理是将人脸纹理铺平在二维平面上，然后将人脸纹理上像素点的(r,g,b)信息替换为该点在三维空间中的笛卡尔坐标(x,y,z)。因此位置图的像素点实际上就包含了三维人脸顶点的空间坐标信息，则该位置图的所有像素点集就构成了三维人脸。

回归过程实际上使用到的是使用大量数据集训练生成的回归模型，该回归模型的输入是二维图像，输出则是对应的位置图。用于训练的数据集需要包含一一对应的二维人脸图像和位置图。300W-LP数据集中每个二维人脸图像都有着一个对应的三维人脸模型，因此将其中的三维人脸模型都转换为包含相同三维点集信息的位置图后，该数据集则能够用于训练回归模型。

机器学习发展到今天，用于回归的模型种类繁多，而近年深度学习领域的种种突破，使得深度卷积神经网络成了各种回归需求的首选项。使用二维人脸图像生成对应的位置图，这是一种图像到图像的过程。大多数时候，在机器学习中图像到图像的处理一般是将图像输入到编码器提取特征，然后再将提取到的特征输入到解码器，解码器输出目标图像。

因此上述过程中，对编码器与解码器的选择起着十分重要的作用，它们可以为任意的模型。实际上，编码器经常由各种形式的卷积层堆叠而成，解码器的设计则经常会使用全连接层、卷积层或者转置卷积层进行组合。