[发明专利]一种基于3D人脸跟踪的实时真人虚拟试发方法

说明书

本发明涉及一种基于3D人脸跟踪的实时真人虚拟试发方法。本发明首先进行面向虚拟试发的实时3D人脸跟踪；然后进行基于方位一致性的三维头发模型配戴；最后在保持相邻像素色差的三维头发模型重上色。本发明通过轻量化的模型以及3D人脸特征点，避免了由于2D人脸特征点与三维人脸模型顶点的关联带来的计算耗时和产生不稳定跟踪结果的问题，从而实现快速准确的跟踪结果。而三维头发模型的配准可以使试戴的头发与真实人脸更为贴合准确，增加了虚拟试发的真实性。另外增加了改变三维头发模型纹理颜色的方法，增强了用户试发的体验感及试发系统的功能性。

技术领域

本发明属于计算机图形学和计算机视觉领域，具体涉及一种基于3D人脸跟踪的实时真人虚拟试发方法。

背景技术

头发是个人形象的一个明显特征，在当今的个性化时代，人们对个人形象越来越关注，发现一个适合自己的发型或者佩戴一个合适的假发已经成为人们日常生活工作中的一个自然选择。与实体店的假发试戴相比，虚拟试发更便捷、成本更低且应用范围更广，可广泛应用于虚拟社交、在线商城试戴以及个人发型设计等领域。

目前主流的虚拟试发系统是基于二维图片的：用户输入一张人脸相片，并选择一个特定发型，系统自动把对应发型的头发佩戴在相片中的人脸头部，显然，在该类系统中，用户难以从不同的角度和距离来实时观察试发效果。此外，因为该类系统只是在图像空间中把指定头发放置在用户的人脸头部，而没有考虑用户人脸头部的实际三维方位和尺寸，因此容易产生失真的戴发效果。

现有的基于三维的虚拟试发方案主要分为两种：一种是重建一个与用户外观接近的三维人脸模型，并把指定的三维头发模型佩戴到三维人脸模型的头部，由于用户只能通过旋转和移动三维模型来观看试发效果，绘制的三维人脸模型也与真实人脸外观有所差距，所以这种方案缺少用户试发体验时的沉浸感。另一种是通过捕捉视频中用户的2D人脸特征点进行跟踪，再利用跟踪结果求出人脸姿态并作用在三维头发模型上，最终和真实人脸虚实结果绘制结果，这种方法的缺陷在于在人脸旋转幅度较大时结果不够准确，三维头发模型位置上的错误会影响真实感，且计算耗时，对实时性也有一定限制。

发明内容

本发明针对现有虚拟试发技术缺乏真实感，沉浸感，计算耗时等缺陷，提出一种基于3D人脸跟踪的实时真人虚拟试发方法。

本发明的技术方案如下：

第一步：对三维人脸模型的重建与跟踪

1)使用一个三维人脸参数化模型来表示人脸的三维几何与姿态，该模型包含如下参数：{α_id，α_exp，r_x，r_y，r_z，t_3d，f}。其中：α_id为人脸的个体参数，α_exp为人脸的个体参数，r_x，r_y，r_z分别为人脸围绕x/y/z轴的旋转角度，t_3d为人脸的三维平移向量，f是模拟透视投影效果的缩放系数。

2)构建一个轻量级的深度神经网络MobileNet，用所述的深度神经网络训练得到一个回归器：其输入是一张人脸图片，输出是一组三维人脸参数Q＝{α_id，α_exp，r_x，r_y，r_z，t_3d，f}。

3)通过摄像头采集用户的视频流，对视频流中的每一帧k进行以下操作：

3-1)获取当前帧的用户人脸图像，通过上述基于深度神经网络的回归器，得到对应的三维人脸参数Q＝{α_id，α_exp，r_x，r_y，r_z，t_3d，f}。