[发明专利]一种人脸图像融合的方法及系统

权利要求书

1.一种人脸图像融合的方法，其特征在于，包括如下步骤：

获取用户待融合人脸图和人脸模板图；

将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；

将待融合人脸图进行人脸识别和预处理，得到关键点数据B以及人脸朝向数据；

将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；

将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；

将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图。

2.如权利要求1所述的人脸图像融合方法，其特征在于：所述待融合人脸图进行识别和预处理包括以下步骤：

识别待融合人脸图得到关键数据B1；

缩放并位移所述待融合人脸图像的关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；

利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵M对关键点数据B1进行透视变换；

提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B。

3.如权利要求1所述的人脸图像融合方法，其特征在于：所述人脸朝向数据三个值yaw，pitch，roll是角度值。其中，yaw是围绕着y轴旋转的，对应到人脸上是左右转头，roll是围绕z轴旋转，对应到人脸上是左右点头，pitch是围绕x轴旋转，对应到人脸上是上下点头。

4.一种人脸图像融合的系统，其特征在于，包括如下模块：

人脸模板图关键点预处理模块，用于将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；

待融合人脸图像关键点调整模块，用于将待融合人脸图进行人脸识别，得到关键点数据B1以及人脸朝向数据；缩放并位移所述关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵M对关键点数据B1进行透视变换；提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B；

人脸对齐模块，用于将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；

五官图像面具无缝融合模块，用于将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；

人像融合模块，用于将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图。

5.如权利要求4所述的待融合人脸图模块，包含数据识别模块、关键点提取模块、透视变换模块、关键点替换模块、输出模块，具体实现步骤如下：

数据识别模块，对待融合人脸图像进行人脸数据识别；

关键点提取模块，识别待融合人脸图像后，提取人脸关键点数据B1；

透视变换模块，缩放并位移关键点数据B1到模板人脸矩形区域中，对人脸关键点进行操作缩放，选择关键点A中最外侧的两个点，计算距离da；选择关键点B1最外侧的两个点，计算距离db；通过da/db得到缩放比例，根据所述缩放比例对B1所有点进行缩放移动；选择A和B1眼睛中央的关键点，计算距离，从而确定得出B1移动到A位置的大致距离；缩放将关键点数据B1的眼睛轮廓对齐关键点数据A的眼睛轮廓点，利用关键点数据B1和关键点数据A的嘴巴轮廓点计算出透视变换矩阵M；关键点替换模块，利用透视变换矩阵M，对关键点数据B1进行透视变换；

关键点替换模块，使用关键点数据A的脸部轮廓点，完全替换替换关键点数据B1的脸部轮廓，得到关键点数据B。

输出模块，输出待融合人脸图关键点数据B。