[发明专利]基于单张人脸图像的实时全自动高质量三维人脸重建方法

说明书

本发明公开了一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，包括：对初始的人脸图像数据集合，拟合其参数化模型系数与人脸区域每个像素点沿着深度方向的偏移，得到人脸图像数据集合T；改变集合T中的表情和姿态系数后，渲染人脸图片，得到光滑的人脸图像数据集合C；改变集合T中的偏移后，渲染人脸图片，得到带细节的人脸图像数据集合F；利用集合C训练深度神经网络模型CoarseNet，并利用集合F训练深度神经网络模型FineNet；利用训练好的深度神经网络模型CoarseNet和FineNet，对输入的单张人脸图像进行处理，得到参数化模型系数以及像素点沿着深度方向的偏移，从而重建出三维人脸。该方法避免了复杂耗时的优化过程，能够快速、高质量的重建三维人脸图像。

技术领域

本发明涉及人脸图像处理技术领域，尤其涉及一种基于单张人脸图像的实时全自动高质量三维人脸重建方法。

背景技术

近年来，随着计算机技术和通信技术的快速发展，图像作为一种便捷的信息传递方式，已成为人们获取信息的重要手段。由于人脸图像在身份验证、人机交互、监控、取证、医疗诊断和治疗等领域有着广泛的应用，针对人脸图片的处理与识别已成为机器识别和计算机视觉的主要课题。更进一步，人脸作为身体中最有代表性的部分，人们能够仅凭面部信息就能够获得极为丰富的含义，如人的性别，种族、年龄、健康、情绪，甚至职业等等。

在过去，三维人脸重建主要有三种方法：手动建模，仪器采集和基于图像的少量交互或完全自动建模。手工建模作为最早的三维建模手段，现在仍然被广泛地使用。手工建模一般需要有经验的专业人士借助Autodesk Maya，3DMax等软件来完成。由于手动建模需要耗费大量的人力与时间，三维人脸建模仪器作为更为方便的方法得到了长期的研究和发展。其中的典型代表有基于结构光和激光扫描技术的精密三维采集仪器和深度相机等。基于精密仪器采集的三维模型，精度可达毫米级，是物体的真实三维数据，可以用来为基于图像的建模方法提供评价数据库，但这些设备一般价格高昂，且使用需经过专业培训，不适合于消费级的市场。最近，市场上出现了Microsoft Kinect，Intel RealSense，PrimeSense等深度相机，研究者可以利用深度相机采集到的深度信息来重建三维模型。和精密采集仪器相比，深度相机价格较低廉且更易于使用，但相比于RGB相机而言，这些设备仍较为少见。基于图像的建模技术是指通过多张或单张人脸图像来重建三维人脸模型。和人脸建模仪器相比，基于图像的建模方法只需要传统RGB相机采集的人脸图片，因此应用场景更为广泛。

由于人脸具有较多共性，如具有特定数目的眼睛，嘴巴，鼻子，耳朵且相对位置不变，因此可以建立一个人脸的参数化模型，将复杂的三维人脸参数化到一个低维的空间。传统的基于图像的三维人脸建模技术一般把参数化模型作为先验，利用人脸关键点信息和颜色信息来优化参数化模型的相关系数。但这些方法存在一些问题：基于关键点信息的优化仅利用了稀疏的关键点信息，三维重建精度较低；基于颜色的优化要经过比较耗时的计算，且对光照比较敏感。

发明内容

本发明的目的是提供一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，能够快速、高质量的重建三维人脸图像。

本发明的目的是通过以下技术方案实现的：

一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，包括：

对初始的人脸图像数据集合，拟合其参数化模型系数与人脸区域每个像素点沿着深度方向的偏移，得到人脸图像数据集合T；

改变人脸图像数据集合T中的表情和姿态系数后，渲染人脸图片，得到光滑的人脸图像数据集合C；改变人脸图像数据集合T中的偏移后，渲染人脸图片，得到带细节的人脸图像数据集合F；

利用光滑的人脸图像数据集合C训练深度神经网络模型CoarseNet，并利用带细节的人脸图像数据集合F训练深度神经网络模型FineNet；