[发明专利]3D密集人脸对齐模型构建方法、系统和可读存储介质

说明书

本发明公开的一种3D密集人脸对齐模型构建方法、系统和可读存储介质，其中方法包括：对人脸数据集中的人脸图像进行预处理得到人脸变形信息；建立多尺度双重注意力基本块和相似信息增强模块，以利用所述人脸变形信息建立3D人脸回归模型，其中，所述3D人脸回归模型至少包括所述多尺度双重注意力基本块以及所述相似信息增强模块；利用预设的损失函数监督训练所述3D人脸回归模型以得到所述3D密集人脸对齐模型。本发明基于拟合能力强大的深度学习技术，利用人脸变形信息增强的技术，为进一步提升3D密集人脸对齐任务精度提供了一种端到端训练的高效模型，能够利用人脸的变形信息增强输入图像中人脸对应的3D人脸，得到更准确的3D密集人脸对齐的模型框架。

技术领域

本发明涉及计算机视觉技术领域，更具体的，涉及一种3D密集人脸对齐模型构建方法、系统和可读存储介质。

背景技术

最初的人脸对齐任务，一般指代的是对输入的人脸图像定位其2D的脸部关键特征点(landmarks)的过程。但是2D人脸对齐方法由于缺乏对输入图像中不可见的landmarks的检测能力，于是3D人脸对齐的方法便开始更多地受到了研究人员的关注。随着3D人脸对齐任务的提出，人们也不仅是局限于对人脸上landmarks的检测，而是进一步地去检测整个人脸上所有表征点，也就是实现3D人脸上的密集点对齐关系。3D密集人脸对齐在诸如人脸识别、人脸追踪、人脸动画以及人机交互等众多领域都发挥着巨大作用。

现有的3D密集人脸对齐方法可以大致分为以下两类：第一类就是通过拟合如3DMM等预先注册好的3D人脸获得对应的几何信息的方法，这类方法也叫做基于模型的方法。3DMM通过PCA降维将整个人脸属性概括为人脸形状和人脸纹理的线性组合，以此得到一个3D人脸模板。最初的传统方法通过合成分析的方式3D人脸模板和输入人脸图像的计算损失，进而实现3D人脸与输入人脸图像上的密集对应。近些年深度学习技术的快速发展，大大优化了基于模型方法的拟合流程。如3DDFA方法使用一个级联的CNN网络直接回归出3DMM的人脸参数以解决3D人脸密集对齐的问题，并且取得了相当不错的效果。不过对于基于模型的方法，其自身受限于其在潜在空间预定义的3维人脸模板的线性组合特性导致表达能力有限，许多研究人员开始了使用深度神经网络去直接预测输入人脸图像对应的3维信息的特殊表达形式，例如UV贴图，volumn等，这些方法也被称为无模型的方法。

PRN是近年来无模型方法的代表作之一，PRN使用了基于ResNet50的深度神经网络的编码器-解码器网络预测输入人脸图像对应的UV位置贴图。UV位置贴图将输入人脸的3维位置信息保存为其RGB信息值，通过回归UV位置贴图可以实现对输入人脸的对应3维顶点的空间位置信息的端到端的训练，实现了高效的3D密集人脸对齐。

发明内容

本发明的目的是提供一种3D密集人脸对齐模型构建方法、系统和可读存储介质，提出了一种利用人脸的变形信息增强输入图像中人脸对应的3D人脸，实现更准确的3D密集人脸对齐的模型框架。

本发明第一方面提供了一种3D密集人脸对齐模型构建方法，包括以下步骤：

对人脸数据集中的人脸图像进行预处理得到人脸变形信息；

建立多尺度双重注意力基本块和相似信息增强模块，以利用所述人脸变形信息建立3D人脸回归模型，其中，所述3D人脸回归模型至少包括所述多尺度双重注意力基本块以及所述相似信息增强模块；

利用预设的损失函数监督训练所述3D人脸回归模型以得到所述3D密集人脸对齐模型。

本方案中，所述对人脸数据集中的人脸图像进行预处理得到人脸变形信息，具体包括：

根据人脸特征点的位置信息对所述人脸图像进行裁剪，以将所述人脸图像转换为统一尺寸；

基于所述人脸数据集中的目标参数计算并保存人脸三维顶点信息到UV贴图中得到UV位置贴图；