[发明专利]一种基于3D人脸跟踪的实时真人虚拟试发方法

权利要求书

1.一种基于3D人脸跟踪的实时真人虚拟试发方法，其特征在于该方法包括以下步骤：

第一步：对三维人脸模型的重建与跟踪

1)使用一个三维人脸参数化模型来表示人脸的三维几何与姿态，该模型包含如下参数：{α_id,α_exp,r_x,r_y,r_z,t_3d,f}；其中：α_id为人脸的个体参数，α_exp为人脸的个体参数，r_x,r_y,r_z分别为人脸围绕x/y/z轴的旋转角度，t_3d为人脸的三维平移向量，f是模拟透视投影效果的缩放系数；

2)构建一个轻量级的深度神经网络MobileNet，用所述的深度神经网络训练得到一个回归器：其输入是一张人脸图片，输出是一组三维人脸参数Q＝{α_id,α_exp,r_x,r_y,r_z,t_3d,f}；

3)通过摄像头采集用户的视频流，对视频流中的每一帧k进行以下操作：

3-1)获取当前帧的用户人脸图像，通过上述基于深度神经网络的回归器，得到对应的三维人脸参数Q＝{α_id,α_exp,r_x,r_y,r_z,t_3d,f}；

3-2)根据所述用户的三维人脸参数，重建出用户的三维人脸模型M，重建公式如下：

其中：M对应着一个三维人脸模型，为平均人脸形状，B_id是一组个体基向量，它定义了中性表情下不同个体的人脸形状空间，B_exp是一组表情基向量，它定义了人脸的表情空间，α_id和α_exp分别为用户的个体和表情系数向量；

4)对用户的重建三维人脸模型进行特征点采样，得到特征点3D位置信息及其2D投影位置信息,分别令为及通过优化下面的能量方程，得到第k帧人脸图像最终对应的三维人脸参数Q_k＝{α_id,α_exp,r_x,r_y,r_z,t_3d,f}：

其中：u_k表示第k帧经过优化的参数Q_k所对应的三维人脸模型上3D人脸特征点的2D投影位置，u_k-1表示第k-1帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，u_k-2表示为第k-2帧所对应的三维人脸模型上3D人脸特征点的2D投影位置，w为能量权值，取值为0.5；

第二步：对三维头发模型与三维人脸模型的配准

1)给定一个平均人脸模型，并记录平均人脸模型上左右耳朵和前额两处共四个顶点位置；

2)获得当前帧跟踪得到的三维人脸模型上相应的四个顶点位置；

3)根据两组顶点位置计算一个由平均人脸模型顶点变换到当前帧三维人脸模型顶点的最优相似变换矩阵，相似变换矩阵计算方式如下：

其中：p为平均人脸模型上左右耳朵和前额两处四个顶点位置的集合，q为跟踪得到的三维人脸模型上上述四个顶点位置的集合，T_s为待求的相似变换矩阵；

4)将求得的相似变换矩阵作用到三维头发模型上，得到三维头发模型与人脸模型的配准；

第三步：对三维头发模型的重上色

1)在制作三维头发模型时，通过纹理贴图，实现三维头发模型渲染时的颜色、细节和明暗层次感；

2)通过如下步骤，实现头发换色，并保持三维头发原有的细节和明暗层次感：

2-1)将原始三维头发模型纹理的RGB颜色空间值转换为HSB颜色空间值，记录纹理所有像素的色相值并计算平均色相值；

2-2)设定一个最终三维头发模型纹理颜色的目标色相值；

2-3)将原始纹理色相值减去平均色相值并加上目标色相值，完成色相更改操作；

2-4)设定一个最终三维头发模型纹理与原始三维头发模型纹理在饱和度、明度上的偏差值；

2-5)将所述偏差值加到原始头发模型纹理饱和度、明度值，完成饱和度、明度更改操作；

上述操作具体形式如下：

其中：(i,j)表示头发纹理中某一像素的位置，则H_new(i,j)和H(i,j)分别某一像素更改后和原始的H值，为原始纹理中所有像素的平均色相，S_new(i,j)和S(i,j)分别为某一像素更改后和原始的S值，B_new(i,j)和B(i,j)分别为某一像素更改后和原始的B值，H_reclr为用户通过色相指定的新上色颜色，用户通过ΔSB来控制新上色颜色的纯度。

2.根据权利要求1所述的一种基于3D人脸跟踪的实时真人虚拟试发方法，其特征在于：

第一步中所述的能量优化过程中存在两个能量项，其中第一个能量项表示希望跟踪到的3D人脸在屏幕空间中能够与检测到的3D人脸特征点对齐；第二个能量项表示在屏幕空间中相邻三帧之间的3D人脸特征点运动速度一致。