[发明专利]基于三维重建的人脸替换方法及装置

权利要求书

1.基于三维重建的人脸替换方法，其特征在于，包括以下步骤：

步骤一、单张人脸图像三维重建：输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；

步骤二、3D人脸对齐：分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；

步骤三、表情迁移：分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；

步骤四、图像融合：通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；

步骤五、替换图像生成：根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。

2.根据权利要求1所述的基于三维重建的人脸替换方法，其特征在于，所述人脸三维重建模型3DMM的表示公式为：

式中，表示平均人脸模型；s_i表示形状对应的主成分分析部分，α_i表示相应的系数；e_i表示表情对应的主成分分析部分，β_i表示相应的系数。

3.根据权利要求1所述的基于三维重建的人脸替换方法，其特征在于，步骤二中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵P_target，所述驱动人脸的位姿参数构成变换矩阵P_source；将目标人脸记为X_target，将驱动人脸记为X_source，对齐操作的方式为：P_target*X_target＝P_source*X_source。

4.根据权利要求1所述的基于三维重建的人脸替换方法，其特征在于，步骤四中，在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正。

5.基于三维重建的人脸替换装置，其特征在于，包括：

单张人脸图像三维重建模块，用于输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；

3D人脸对齐模块，用于分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；

表情迁移模块，用于分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；

图像融合模块，用于通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；

替换图像生成模块，用于根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。