[发明专利]基于稠密人脸关键点的视频换脸方法、系统、介质及设备

权利要求书

1.一种基于稠密人脸关键点的视频换脸方法，其特征在于，包括：

利用预设的人脸检测模型对源人脸图像和视频中每一帧的目标人脸图像进行人脸检测，分别获得对应的人脸框图和关键点坐标；

利用所述源人脸图像的关键点坐标在其对应的人脸框图上进行三角剖分处理以得到人脸各部分的凸包，拼接各所述凸包以得到所述源人脸图像的源图脸；

获得人脸对齐的变换矩阵，依据所述变换矩阵将所述源图脸对齐所述目标人脸图像并进行替换，得到初始换脸图；

利用预设的人脸融合算法对所述初始换脸图进行融合处理，并修正颜色映射到所述视频中每一帧的目标人脸图像上，对所述视频的每一帧进行人脸平滑作业以完成换脸。

2.根据权利要求1所述的基于稠密人脸关键点的视频换脸方法，其特征在于，对所述视频进行取帧，并逐帧进行人脸检测定位，得到所述目标人脸图像的人脸框图和关键点坐标。

3.根据权利要求1所述的基于稠密人脸关键点的视频换脸方法，其特征在于，通过所述三角剖分法对所述源人脸图像的关键点坐标进行分析，获得覆盖所述源人脸图像不同区域的封闭三角形，然后扣取所有的三角形组成仅有面部信息的图像以形成所述源图脸。

4.根据权利要求1所述的基于稠密人脸关键点的视频换脸方法，其特征在于，对所述源图脸进行仿射变换，得到所述源人脸图像关键点坐标与所述目标人脸图像关键点坐标的对应关系，依据所述对应关系计算得到所述源图脸与所述目标人脸图像对齐的所述变换矩阵，进而通过像素覆盖的方式进行人脸替换。

5.根据权利要求1所述的基于稠密人脸关键点的视频换脸方法，其特征在于，所述预设的人脸检测模型包括Dlib检测模型和/或retinaface检测器。

6.根据权利要求1所述的基于稠密人脸关键点的视频换脸方法，其特征在于，所述预设的人脸融合法包括泊松融合和/或直方图融合，其中，所述泊松融合通过对换脸后的人脸贴合图构建泊松方程求解像素最优解，保留所述目标人脸图像的原始图像梯度，以实现人脸衔接处梯度域上的连续。

7.根据权利要求1所述的基于稠密人脸关键点的视频换脸方法，其特征在于，更改所述源人脸图像的颜色以匹配所述目标人脸图像的颜色，以每个所述关键点坐标作为中心点，构建特定边长的正方形区域并计算其高斯模糊值，分别得到所述源人脸图像与所述目标人脸图像各关键点的高斯模糊值及对应关键点的比值，将所述源人脸图像的各点像素值与该点对应的所述比值进行相乘以完成所述修正颜色。

8.一种基于稠密人脸关键点的视频换脸系统，其特征在于，包括：

检测模块，用于利用预设的人脸检测模型对源人脸图像和视频中每一帧的目标人脸图像进行人脸检测，分别获得对应的人脸框图和关键点坐标；

获取模块，用于利用所述源人脸图像的关键点坐标在其对应的人脸框图上进行三角剖分处理以得到人脸各部分的凸包，拼接各所述凸包以得到所述源人脸图像的源图脸；

替换模块，用于获得人脸对齐的变换矩阵，依据所述变换矩阵将所述源图脸对齐所述目标人脸图像并进行替换，得到初始换脸图；

处理模块，用于利用预设的人脸融合算法对所述初始换脸图进行融合处理，并修正颜色映射到所述视频中每一帧的目标人脸图像上，对所述视频的每一帧进行人脸平滑作业以完成换脸。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述基于稠密人脸关键点的视频换脸方法。

10.一种电子设备，其特征在于，所述电子设备包括：所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权力要求1至7中任一项所述基于稠密人脸关键点的视频换脸方法。