[发明专利]基于三维重建的人脸替换方法及装置

说明书

本发明公开了一种基于三维重建的人脸替换方法及装置，通过在三维人脸模型上实现人脸对齐和图像融合，再渲染成二维图像，从而有效解决少量人脸图像实现任意角度旋转换脸的需要，人脸替换重点是需要保证替换后的人脸不改变目标人脸的五官结构，同时需要表达出源人物的面部表情以及位姿。本发明基于三维重建得到人脸3D模型，在三维空间做人脸对齐，解决大角度旋转造成的替换前后人脸视角相差较大，无法有效配准对齐的问题。三维人脸重建选用3DMM模型，构建的特征向量可以实现人脸结构和表情特征的解耦分离，分别提取替换前人脸的表情特征和替换人脸的结构，组合成新的3D人脸特征，完成人脸3D模型上的表情迁移。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于三维重建的人脸替换方法及装置。

背景技术

近年来，AI换脸技术快速发展，通过生成对抗网络(GAN)能够逼真的产生真人照片级别的人脸图像，所呈现的结果也令人耳目一新。AI换脸技术不仅能够重建出指定人像的任意照片，同时能够把一个人的面部表情移植到另一个人脸上。但现有技术实现中仍然存在一些棘手的问题难以解决。

基于生成对抗网络(GAN)现有的模型，需要通过用源人物和目标人物的几百张照片(越多越好)训练模型分别识别、还原两人面部的能力，无法在小样本上工作，意味着无法凭一两张照片替换任意两个人的脸部；模型的训练过程也需要消耗大量资源。另一方面基于单张人脸图像的换脸实现，可以根据给定的动作驱动图中的人“动起来”，但是图中人脸的动作范围有限，大角度的转动会导致人脸结构的异常失真。

发明内容

为此，本发明提供一种基于三维重建的人脸替换方法及装置，通过任意目标人物的一到两张人脸二维图像，实现源人物人脸图像的面部替换，同时保持源人物的动作表情。

为了实现上述目的，本发明提供如下技术方案：基于三维重建的人脸替换方法，包括以下步骤：

步骤一、单张人脸图像三维重建：输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；

步骤二、3D人脸对齐：分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；

步骤三、表情迁移：分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；

步骤四、图像融合：通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；

步骤五、替换图像生成：根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。

作为基于三维重建的人脸替换方法的优选方案，所述人脸三维重建模型3DMM的表示公式为：

式中，表示平均人脸模型；s_i表示形状对应的主成分分析部分，α_i表示相应的系数；e_i表示表情对应的主成分分析部分，β_i表示相应的系数。