[发明专利]基于单张人脸图像的实时全自动高质量三维人脸重建方法

摘要

本发明公开了一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，包括：对初始的人脸图像数据集合，拟合其参数化模型系数与人脸区域每个像素点沿着深度方向的偏移，得到人脸图像数据集合T；改变集合T中的表情和姿态系数后，渲染人脸图片，得到光滑的人脸图像数据集合C；改变集合T中的偏移后，渲染人脸图片，得到带细节的人脸图像数据集合F；利用集合C训练深度神经网络模型CoarseNet，并利用集合F训练深度神经网络模型FineNet；利用训练好的深度神经网络模型CoarseNet和FineNet，对输入的单张人脸图像进行处理，得到参数化模型系数以及像素点沿着深度方向的偏移，从而重建出三维人脸。该方法避免了复杂耗时的优化过程，能够快速、高质量的重建三维人脸图像。

主权项

1.一种基于单张人脸图像的实时全自动高质量三维人脸重建方法，其特征在于，包括：对初始的人脸图像数据集合，拟合其参数化模型系数与人脸区域每个像素点沿着深度方向的偏移，得到人脸图像数据集合T；改变人脸图像数据集合T中的表情和姿态系数后，渲染人脸图片，得到光滑的人脸图像数据集合C；改变人脸图像数据集合T中的偏移后，渲染人脸图片，得到带细节的人脸图像数据集合F；利用光滑的人脸图像数据集合C训练深度神经网络模型CoarseNet，并利用带细节的人脸图像数据集合F训练深度神经网络模型FineNet；利用训练好的深度神经网络模型CoarseNet和FineNet，对输入的单张人脸图像进行处理，得到参数化模型系数以及像素点沿着深度方向的偏移，从而重建出三维人脸；所述对初始的人脸图像数据集合，拟合其参数化模型系数与人脸区域每个像素点沿着深度方向的偏移包括：利用人脸颜色信息对参数化模型系数χ进行拟合：E(x)＝E_con+w_lanE_lan+w_regE_reg上式中，E_con为颜色项衡量由渲染的图片和实际图片的差异；E_lan为关键点约束，使三维点的投影和图像上检测到的关键点尽可能接近；E_reg是正则项，以保证参数化模型系数χ中的身份α_id、表情α_exp及纹理α_alb系数在合理的范围内；w_lan和w_reg分别是E_lan和E_reg相对于E_con的权重；具体的：其中，C_S是由χ渲染的图片，C_I是输入的图片，P是所有像素的集合；其中，是关键点的集合，i为关键点的序号，f_i为图像平面的二维关键点，为投影矩阵，其中的s为比例系数，V_i为网格上的三维关键点，为平移向量，R为旋转矩阵；其中，σ为对应的主成分方向的标准差，J为身份与纹理的PCA维数，K为表情的PCA维数；α_id,j、α_alb,j分别为第j个分量的身份、纹理系数；σ_id,j、σ_alb,j分别为第j个分量的身份、纹理系数对应主成分方向的标准差；α_exp,k为第k个分量的表情系数，σ_exp,k为第k个分量的表情系数对应主成分方向的标准差；利用人脸颜色信息对人脸区域每个像素点沿着深度方向的偏移进行拟合，假设所有像素偏移构成向量d，则拟合方式如下：其中，为正则项，使d接近0；μ₂||Ld||₁为光滑约束项，Ld表示偏移的拉普拉斯，μ₁和μ₂分别是和||Ld||₁相对于E_con的权重。