[发明专利]基于深度学习的人脸眼镜移除和三维模型生成方法

权利要求书

1.一种基于深度学习的人脸眼镜移除和三维模型生成方法，包括：

S1：将二维戴眼镜人脸图像输入端到端神经网络中，进行人脸解析，找到眼镜覆盖区域，将眼镜覆盖区域删除，获得无眼睛像素区域的二维人脸图像；

S2：使用基于轻量级神经网络MobileNet-V3开发的用于人脸特征提取的深度学习模型，其中，该深度学习模型以二维戴眼镜人脸图像为输入，得到二维戴眼镜人脸图像的人脸特征点；

S3：结合无眼睛像素区域的二维人脸图像与二维戴眼镜人脸图像的人脸特征点，使用二维无眼镜渲染人脸图像生成器，生成二维无眼镜渲染人脸图像；

S4：基于人脸形变统计模型3DMM，将无眼睛像素区域的二维人脸图像转化为三维无眼镜人脸模型，使用基于残差网络ResNet-50的3DMM，根据S3中生成的二维无眼镜渲染人脸图像生成三维无眼镜渲染人脸图像。

2.根据权利要求1所述的方法，其中，在所述结合无眼睛像素区域的二维人脸图像与二维戴眼镜人脸图像的人脸特征点，使用二维无眼镜渲染人脸图像生成器，生成二维无眼镜渲染人脸图像之前，所述方法还包括：

使用对抗学习方法训练得到二维无眼镜渲染人脸图像生成器，其中，训练过程中使用的损失函数包括：

像素级损失函数

其中，S表示掩膜尺寸，I_out为二维无眼镜渲染人脸图像，I_in为二维戴眼镜人脸图像，||I_out-I_in||表示I_out-I_in的1-范数；

风格化损失函数

其中，G_n(x)表示对应的伽马矩阵，表示O_n个特征图，每次计算风格损失时的特征图是指第n层的大小为H_n×W_n的特征图，⊙表示哈达玛积，I_m为包含眼镜部分的图像区域，|| ||表示1-范数；

总变差损失

其中，是输入图像I_in的像素数，表示一阶导数，包括横向导数和垂向导数I_in为二维戴眼镜人脸图像，|| ||表示1-范数；

加权和形式的损失函数用像素级损失函数、风格化损失函数和总偏差损失函数的结合表示：

其中，λ_pixe＝1，λ_style＝250，λ_var＝0.1，为像素级损失函数，为风格化损失函数，为总变差损失。

3.根据权利要求1所述的方法，其中，所述基于人脸形变统计模型3DMM，将无眼睛像素区域的二维人脸图像转化为三维无眼镜人脸模型，使用基于残差网络ResNet-50的3DMM，根据S3中生成的二维无眼镜渲染人脸图像生成三维无眼镜渲染人脸图像，包括：

将3DMM进行对抗学习训练，将无眼睛像素区域的二维人脸图像输入3DMM中，得到一个三维无眼镜人脸模型，将三维无眼镜人脸模型渲染到二维平面上得到二维无眼镜人脸图像；

衡量二维无眼镜人脸图像和二维无眼镜渲染人脸图像之间的区别，其中，衡量二维无眼镜人脸图像和二维无眼镜渲染人脸图像之间区别的损失函数包括：

像素级损失函数

其中，I_out为二维无眼镜渲染人脸图像，I_y为二维无眼镜人脸图像，i为像素编号，表示第i个二维无眼镜渲染人脸图像，表示第i个二维无眼镜人脸图像，表示的2-范数；

面部特征损失函数

其中，I_out为二维无眼镜渲染人脸图像，I_y为二维无眼镜人脸图像，G( )表示人脸识别方法FaceNet中使用的特征抽取函数，G(I_out)，G(I_y)表示G(I_out)与G(I_y)的内积，|| ||表示1-范数；

强化学习过程中的损失函数用像素级损失函数与面部特征损失函数的加权和表示：

其中，λ₁＝1.4，λ₂＝0.25，为像素级损失函数，为面部特征损失函数。