[发明专利]基于深度学习的人脸眼镜移除和三维模型生成方法

说明书

本专利提出了基于深度学习的人脸眼镜移除和三维模型生成方法。主要步骤包括：S1：将二维戴眼镜人脸图像输入端到端神经网络中，进行人脸解析，找到眼镜覆盖区域，将眼镜覆盖区域删除；S2：使用基于轻量级神经网络开发的用于人脸特征提取的深度学习模型，其中，该深度学习模型以二维戴眼镜人脸图像为输入，得到二维戴眼镜人脸图像的人脸特征点；S3：使用二维无眼镜渲染人脸图像生成器，生成二维无眼镜渲染人脸图像；S4：基于人脸形变统计模型，将二维无眼镜渲染人脸图像转化为三维无眼镜人脸模型。本方法创新性地提出在直接生成三维无眼镜人脸模型前，预先生成二维无眼镜人脸图像，提高了生成的最终人脸模型的可信度。

技术领域

本发明涉及计算机视觉与人脸三维建模领域，具体地说是基于深度学习的人脸眼镜移除和三维模型生成方法。

背景技术

随着计算机信息技术的发展，尤其是人工智能技术的发展，越来越多的传统问题被人工智能技术解决。根据二维图像生成三维图像一直是一个重要的研究课题。由于人脸部特征的重要性和丰富性，如何准确地基于二维人脸图像生成可信度较高的三维人脸模型是一个具有一定意义的问题，其可用于游戏制作、人脸三维识别等领域。在人脸建模领域，人脸遮盖问题是一个比较困难的问题。眼镜作为人们常用的物品，经常出现在二维人脸图像中，如何生成去除眼镜的较为逼真的三维人脸模型具有一定的实际意义。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了基于深度学习的人脸眼镜移除和三维模型生成方法，来解决以上背景技术部分提到的技术问题中的一项或多项。

本发明的目的在于提供一种基于深度学习的人脸眼镜移除和三维模型生成方法，以使用模拟驾驶器进行模拟驾驶试验所得到车辆行驶相关数据，得到基于高斯混合隐马尔可夫模型GM-HMM的停车意图辨别模型，主要包括以下步骤：

S1：将二维戴眼镜人脸图像输入端到端神经网络中，进行人脸解析，找到眼镜覆盖区域，将眼镜覆盖区域删除，获得无眼睛像素区域的二维人脸图像；

S2：使用基于轻量级神经网络MobileNet-V3开发的用于人脸特征提取的深度学习模型，其中，该深度学习模型以二维戴眼镜人脸图像为输入，得到二维戴眼镜人脸图像的人脸特征点；

S3：结合无眼睛像素区域的二维人脸图像与二维戴眼镜人脸图像的人脸特征点，使用二维无眼镜渲染人脸图像生成器，生成二维无眼镜渲染人脸图像；

S4：基于人脸形变统计模型3DMM(3D Morphable models)，将二维无眼镜渲染人脸图像转化为三维无眼镜人脸模型，使用基于残差网络ResNet-50架构的3DMM，根据S3中生成的二维无眼镜渲染人脸图像生成三维无眼镜渲染人脸图像。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是本发明基于深度学习的人脸眼镜移除和三维模型生成方法的流程示意图；

图2是本发明基于深度学习的人脸眼镜移除和三维模型生成方法与其它方法的对比图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。