[发明专利]一种基于人脸三维重建和人脸对齐的人脸图像变换方法

说明书

一种基于人脸三维重建和人脸对齐的人脸图像变换方法，采用以下步骤，步骤1：三维图像采集装置采集人脸三维图像作为输入图像，将该输入图像传送到处理模块中；步骤2：人脸识别模块提取所述输入图像的三维特征；所述输入图像的三维特征包括人脸特征点集的坐标值；在标准人脸数据库中保存有标准人脸对齐特征集，该人脸对齐特征集由人脸对齐特征点组成，每个人脸对齐特征点为人脸上对应点的语义信息；步骤3：设置有参考图片数据库，处理模块从参考图片数据库中提取一张参考图片，传送到人脸识别模块中。基于人脸三维重建和人脸对齐的人脸图像变换方法，能够适应各种姿态和表情，对传统方法不能处理的大姿态和表情变化有效贴图。该方法还能使用一个通用模型处理所有的人脸，克服GAN方法的缺点。

技术领域

本发明涉及图像处理领域，具体涉及一种基于人脸三维重建和人脸对齐的人脸图像变换方法。

背景技术

随着人工智能潮流的兴起，特别是深度学习技术在图像领域的大规模研究和应用，人脸三维结构重建和人脸对齐取得了越来越好的效果，如近期提出的pr_net精度和速度均达到了实用的要求。

在娱乐和游戏领域，有很多将一张人脸变换到另一张图像上，或者对人脸图像进行编辑的需求，比如微信朋友圈流行的合成古风或民国照片，合成录取通知书等；在艺术照后处理中，需要对人脸的表情进行微调；在游戏或者动画制作中，需要将人脸贴合到模型或者演员的人脸对应部位。

传统的人脸贴合基于关键点，根据关键点做三角剖分，再对每一个三角形进行变换贴图。这种方式只能处理正脸，对于人脸有较大姿态角度的情况不适用。

随着深度学习技术的兴起，出现了一些基于GAN的人脸贴图技术。如热门的deepfake.基于GAN的技术能够对各种姿态和表情的人脸进行贴图，在特定场景下能达到不错的效果。但基于GAN学习的不是贴图的方式，而是学习的具体人脸的特征。这就要求针对每一个特定的人脸训练对应的模型，而不能使用通用的模型，这在很多场景下难以实现。

发明内容

本发明针对现有技术的不足，提出一种基于人脸三维重建和人脸对齐的人脸图像变换方法，具体技术方案如下：

一种基于人脸三维重建和人脸对齐的人脸图像变换方法，其特征在于：

采用以下步骤，

步骤1：三维图像采集装置采集人脸三维图像作为输入图像，将该输入图像传送到处理模块中；

步骤2：人脸识别模块提取所述输入图像的三维特征；

所述输入图像的三维特征包括人脸特征点集的坐标值；

在标准人脸数据库中保存有标准人脸对齐特征集，该人脸对齐特征集由人脸对齐特征点组成，每个人脸对齐特征点为人脸上对应点的语义信息；

步骤3：设置有参考图片数据库，处理模块从参考图片数据库中提取一张参考图片，传送到人脸识别模块中；

人脸识别模块提取该参考图片的三维特征和人脸对齐特征集，将该参考图片的三维特征和人脸对齐特征集保存在临时数据库中；

步骤4：处理模块对所述输入图像进行贴图，将所述输入图片的纹理贴合到参考图片的对应位置；

具体为，处理模块提取输入图片的三维特征获取对应位置的纹理；

根据输入图片的人脸对齐特征集，获取到参考图片的相对应的三维坐标点集；

步骤5：处理模块将输入图片中获取到的纹理，通过插值的方式，赋值到参考图片的三维坐标点集中对应的坐标。

步骤6：处理模块将人脸图片通过泊松融合到参考图片中，替换掉参考图片中的人脸。

进一步地：所述步骤6为，处理模块将人脸图片通过阿尔法通道融合到参考图片中。