[发明专利]一种视频人脸胖瘦编辑方法

权利要求书

1.一种视频人脸胖瘦编辑方法，其特征在于，包括如下步骤：

(1)基于人脸视频重建三维人脸模型，生成人脸视频中三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数；

(2)基于三维人脸胖瘦调整算法对三维人脸模型进行调整，将调整结果迁移至每一视频帧，生成每一视频帧的形变三维人脸模型，其具体步骤如下：

(2-1)使用自然表情参数和三维人脸形状参数求出自然表情下的三维平均人脸模型；

(2-2)根据用户输入的胖瘦尺度得到自然表情下形变后的人脸模型；

(2-3)针对视频的每一视频帧，将人脸表情参数添加至自然表情下形变后的人脸模型中，输出带表情的形变三维人脸模型；

(3)使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸模型的结构调整所述稠密映射，其具体步骤如下：

(3-1)采用三维平均人脸模型和人脸姿态参数将三维人脸投影至二维图像平面，并提取二维人脸图像投影的边界；

(3-2)抽取人脸视频中的视频帧，将视频帧的人脸边界区域中各个像素点反投影于步骤(1)中重建的三维人脸模型上，对每个像素点，找到重建的三维人脸模型上对应的最近顶点，将步骤(2)得到的形变三维人脸模型的顶点投影至视频帧的平面，故反投影前的原像素点变换到新位置，将原位置和新位置的映射作为初始映射；

(3-3)使用GPU实时构建形变三维人脸模型中人脸边界的有向距离场；

(3-4)采用梯度优化方法将步骤(3-2)中得到的初始映射的像素点经过迭代优化移动到有向距离场中值为0的区域，构成密集映射；

(3-5)将密集映射的像素点投影回形变三维人脸模型，如投影回的像素点不在形变三维人脸模型的脸颊上，则将其对应的映射关系排除；

(4)基于所述稠密映射对步骤(1)中的人脸视频帧形变，并采用能量优化减少因形变造成的视频帧的背景扭曲，得到形变后的人脸视频帧，将所述形变后的人脸视频帧对应替换回原人脸视频。

2.如权利要求1所述的视频人脸胖瘦编辑方法，其特征在于，所述步骤(1)中，重建三维人脸模型，生成人脸视频中三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数，其具体步骤如下：

(1-1)基于单目视觉三维人脸重建算法重建三维人脸模型，计算人脸视频中每一视频帧的人脸姿态参数；

(1-2)根据人脸姿态参数找出人脸视频中合适表示人脸形状的连续k帧，进行联合优化得到三维人脸形状参数，所述k值小于10；

(1-3)将三维人脸形状参数作为已知条件，根据单目视觉三维人脸重建算法得到每一视频帧的人脸表情参数。

3.如权利要求2所述的视频人脸胖瘦编辑方法，其特征在于，所述步骤(1-1)中，基于单目视觉三维人脸重建算法重建三维人脸模型，计算人脸视频中每一视频帧的人脸姿态参数，其具体步骤如下：

(1-1-1)重建三维人脸模型，在人脸视频的时域定义光流约束，所述光流约束利用光流信息纠正三维人脸模型中特征点检测的误差，使得三维人脸模型符合检测得出的光流变化，所述光流约束定义于人脸边界的区域：

其中，r、t分别为当前帧的人脸旋转参数和平移参数，r′、t′为上一帧的人脸旋转参数和平移参数，α为三维人脸形状参数估计值，β、β′为当前帧和上一帧的人脸表情参数估计值；Π为投影算子，用于根据人脸参数将人脸投影到二维平面；L_b为人脸边界的特征点集合；U_i为二维平面上第i个点所对应的光流值，E_optic为在人脸边界定义的光流约束能量；

(1-1-2)固定人脸表情参数估计值和三维人脸形状参数估计值，求最优解得到人脸姿态参数E_pose：

其中，E_land为三维人脸特征点的投影和二维人脸特征点匹配的能量，为保持相邻两帧人脸姿态连续性的能量，λ_land、λ_optic分别为三个能量项的权重。