[发明专利]一种人脸图像融合的方法及系统

说明书

本发明涉及一种人脸图像融合的方法，包括如下步骤：识别人脸模板图人脸区域，得到关键点数据A及人脸朝向数据；识别待融合人脸图的人脸区域，经处理得到关键点数据B及人脸朝向数据；通过三角剖分重新绘制待融合人脸图和人脸模板图，结合关键点数据B实现两图的人脸对齐；通过关键点数据B的脸部轮廓计算出待融合人脸图的五官区域掩码图C，将待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；将关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，通过泊松融合网络得到最终的效果图。本发明还公开了相应的人脸图像融合的系统。

技术领域

本发明涉及图像融合处理技术领域，特别是涉及一种人脸图像融合的方法及系统。

背景技术

在人脸图像处理领域，随着AI人工智能的出现，对用户图片照片的美颜，渲染，锐化，分割等技术越发成熟，凡是在图像融合处理技术领域，略显不足，在传统图像处理实现方案中，不论是利用直方图统计或者RGB缩放的方式都很难让融合效果达到很高的鲁棒性，尤其是对于用户图片带有复杂的光照。

基于深度机器学习的技术实现方案，在融合效果方面，比传统的好，但需要花费大量的云端计算服务器的成本，在用户移动终端需要依赖于良好的网络条件甚至需要长时间的等待，对于人脸不端正，侧脸融合图像模糊，效果不好，用户体验差。。

发明内容

基于此，本发明的目的在于，提供一种人脸图像融合的方法及系统，通过对人脸关键点的计算，将融合图的面部变形，根据模板图的人脸角度，得到符合模板图角度的人脸五官面具，解决侧脸融合中角度和边缘的问题，使融合更真实，同时融合速度快，节省用户服务器资源。

一种人脸图像融合的方法，包括如下步骤：

获取用户待融合人脸图和人脸模板图；

将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；

将待融合人脸图进行人脸识别，得到关键点数据B1以及人脸朝向数据；缩放并位移所述关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵M对关键点数据B1进行透视变换；提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B；

将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；

将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；

将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图；

一种人脸图像融合的系统，所述系统包括：

人脸模板图关键点预处理模块，用于将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；

待融合人脸图像关键点调整模块，用于将待融合人脸图进行人脸识别，得到关键点数据 B1以及人脸朝向数据；其中，缩放并位移所述关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵 M对关键点数据B1进行透视变换；提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B；