[发明专利]基于深度学习和真实感渲染的人脸图片高光去除方法

说明书

本发明公开了一种基于深度学习和真实感渲染的人脸图片高光去除方法，包括：通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型；利用高精度人脸三维模型渲染逼真人脸图片，并在渲染时分别渲染得到图片中的高光分量和漫反射分量；利用渲染出的逼真人脸图片以及高光分量和漫反射分量作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络；将待处理人脸图片输入人脸图片高光去除网络，通过人脸图片高光去除网络提取出待处理人脸图片中的漫反射分量，进而得到高光去除后的人脸图片。该方法可以对各种人脸图片进行处理，不受人脸表情，人脸朝向和环境光照的影响。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于深度学习和真实感渲染的人脸图片高光去除方法。

背景技术

深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

无高光在图片处理领域非常重要，一些人脸识别算法对图片中人脸是否有高光比较敏感，一些人脸图片处理的方法，比如人脸重光照，往往处理不好图片中包含高光的区域，人脸图片去高光技术能够解决这些问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度学习和真实感渲染的人脸图片高光去除方法，该方法仅需输入单张人脸图片，就可以生成其去除高光分量的结果，且不受输入人脸图片的表情、人脸朝向和光照的限制。

为达到上述目的，本发明一方面实施例提出了一种基于深度学习和真实感渲染的人脸图片高光去除方法，包括以下步骤：

通过人脸采集系统采集不同的人在不同表情下的高精度人脸三维模型；

利用所述高精度人脸三维模型渲染逼真人脸图片，并在渲染时分别渲染得到图片中的高光分量和漫反射分量；

利用渲染出的数据作为训练的强监督数据训练生成对抗网络得到人脸图片高光去除网络；

将待处理人脸图片输入所述人脸图片高光去除网络，通过所述人脸图片高光去除网络提取出所述待处理人脸图片中的漫反射分量，进而得到高光去除后的人脸图片。

本发明实施例的基于深度学习和真实感渲染的人脸图片高光去除方法，通过人脸采集系统采集到不同人在不同表情下的高精度人脸三维模型；利用基于光线追踪的渲染器，使用采集到的高精度人脸三维模型，渲染出在各种不同的相机参数、不同人脸模型位姿和不同光照下的逼真人脸图片，在渲染时分别渲染得到图片中的高光分量和漫反射分量；基于生成对抗网络，利用渲染出的数据作为训练的强监督数据，训练出一个可以将人脸图片中漫反射分量分离出来的神经网络。在应用时，输入一张人脸图片，训练好的生成网络可以将其中的漫反射分量提取出来。该方法可以对各种人脸图片进行处理，不受人脸表情，人脸朝向和环境光照的影响。

另外，根据本发明上述实施例的基于深度学习和真实感渲染的人脸图片高光去除方法还可以具有以下附加的技术特征：

在本发明的一个实施例中，所述人脸高精几何模型包括不同年龄、不同性别的人的不同人脸模型。

在本发明的一个实施例中，所述通过人脸采集系统采集不同人在不同表情下的高精度人脸三维模型，包括：

利用多相机系统，在均匀光照下采集同一人脸在不同视角下的图片，并利用多视角重建方法对人脸进行重建，同一人脸采集其不同表情下的人脸几何，通过采集不同的人得到所述高精度人脸三维模型。

在本发明的一个实施例中，所述对所述高精度人脸三维模型进行渲染，分别渲染得到图片中的高光分量和漫反射分量，包括：