[发明专利]基于稠密人脸关键点的视频换脸方法、系统、介质及设备

说明书

本发明提供一种基于稠密人脸关键点的视频换脸方法、系统、介质及设备，利用预设的人脸检测模型对源人脸图像和视频中每一帧的目标人脸图像进行人脸检测，分别获得对应的人脸框图和关键点坐标，进而所述源人脸图像的源图脸；获得人脸对齐的变换矩阵，依据所述变换矩阵将进行人脸替换，得到初始换脸图；利用预设的人脸融合算法对所述初始换脸图进行融合处理，并映射到所述视频中对应帧的目标人脸图像上，对所述视频的每一帧进行人脸平滑作业以完成换脸。本发明的基于稠密人脸关键点的视频换脸方法、系统、介质及设备，适用于在硬件配置较低情况下的视频各个角色的人脸较高精度替换，并且易于落地部署，可适配不同摄像设备之间的差异。

技术领域

本发明涉及人脸检测技术领域，特别是涉及一种基于稠密人脸关键点的视频换脸方法、系统、介质及设备。

背景技术

随着人工智能领域的发展，越来越多的人脸应用被大众所发掘，其中AI换脸由于其广泛的可应用性和趣味性成为了一个热点方向，早期的换脸应用多是因为电影的艺术需要，使用专业视频剪辑技术和特效技术实现人物角色替换等场景，现阶段AI换脸的应用则更为广泛，例如，部分美图APP通过换脸实现不同样貌的拍照；影视作品中通过换脸进行对应角色的演绎等等。

目前，主流的视频换脸技术大多是基于深度学习的Deepface框架进行换脸，此方法存在如下一些问题：其一，依赖于大量的人脸训练数据以及对设备的硬件要求较高，需要配备高频的CPU处理器或者大内存的GPU处理器；其二，Deepface框架每次训练特征提取器仅限于点对点的两张人脸，在应用时缺少泛化性，没法做到模型可以适用于各个不同人脸的替换。极大程度上影响了换脸功能在应用时可拓展性和广泛性。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于稠密人脸关键点的视频换脸方法、系统、介质及设备，用于解决现有技术中模型泛化性不足且成本高的问题。

为实现上述目的及其他相关目的，本发明提供一种基于稠密人脸关键点的视频换脸方法，所述方法包括：利用预设的人脸检测模型对源人脸图像和视频中每一帧的目标人脸图像进行人脸检测，分别获得对应的人脸框图和关键点坐标；利用所述源人脸图像的关键点坐标在其对应的人脸框图上进行三角剖分处理以得到人脸各部分的凸包，拼接各所述凸包以得到所述源人脸图像的源图脸；获得人脸对齐的变换矩阵，依据所述变换矩阵将所述源图脸对齐所述目标人脸图像并进行替换，得到初始换脸图；利用预设的人脸融合算法对所述初始换脸图进行融合处理，并修正颜色映射到所述视频中每一帧的目标人脸图像上，对所述视频的每一帧进行人脸平滑作业以完成换脸。

于本发明的一实施例中，对所述视频进行取帧，并逐帧进行人脸检测定位，得到所述目标人脸图像的人脸框图和关键点坐标。

于本发明的一实施例中，通过所述三角剖分法对所述源人脸图像的关键点坐标进行分析，获得覆盖所述源人脸图像不同区域的封闭三角形，然后扣取所有的三角形组成仅有面部信息的图像以形成所述源图脸。

于本发明的一实施例中，对所述源图脸进行仿射变换，得到所述源人脸图像关键点坐标与所述目标人脸图像关键点坐标的对应关系，依据所述对应关系计算得到所述源图脸与所述目标人脸图像对齐的所述变换矩阵，进而通过像素覆盖的方式进行人脸替换。

于本发明的一实施例中，所述预设的人脸检测模型包括Dlib检测模型和/或retinaface检测器。

于本发明的一实施例中，所述预设的人脸融合法包括泊松融合和/或直方图融合，其中，所述泊松融合通过对换脸后的人脸贴合图构建泊松方程求解像素最优解，保留所述目标人脸图像的原始图像梯度，以实现人脸衔接处梯度域上的连续。

于本发明的一实施例中，更改所述源人脸图像的颜色以匹配所述目标人脸图像的颜色，以每个所述关键点坐标作为中心点，构建特定边长的正方形区域并计算其高斯模糊值，分别得到所述源人脸图像与所述目标人脸图像各关键点的高斯模糊值及对应关键点的比值，将所述源人脸图像的各点像素值与该点对应的所述比值进行相乘以完成所述修正颜色。