[发明专利]一种基于几何图像参数化的三维网格模型生成方法

说明书

一种基于几何图像参数化的三维网格模型生成方法，能够无监督地生成几何‑法向图像对，并确保其像素级的可靠性和几何‑法向的内在一致性，生成具有多样性和真实性的三维网格模型，生成的人脸网格保持人脸几何结构且具有丰富的面部细节特征和表情特征。该方法通过构建新的网络框架实现，网络框架由对抗生成部分和预测部分构成；对抗生成部分的两路对抗网络分别对应生成几何图像和法向图像，预测部分将两个子网络关联，刻画了基于法向预测的一致性约束；所述网络框架实现几何对抗网和法向对抗网的协同训练；该方法学习得到几何‑法向联合分布，在输入任意向量的情况下，该网络输出与之对应的几何‑法向图像对，通过该图像对重建对应的三维网格模型。

技术领域

本发明涉及机器学习的技术领域，尤其涉及一种基于几何图像参数化的三维网格模型生成方法，主要应用于三维网格数据增强、分类识别的场景中。

背景技术

生成对抗网络(GAN)具有很强的生成能力，是深度学习领域中的重要工具。时至今日，基于GAN的方法在一系列二维图像问题(如：图像生成、超分辨率重建、语义分割、图像风格转换等)上表现出了卓越性能。然而基于GAN来处理三维数据的方法屈指可数，其原因是，三维物体数据通常使用体素、点云、和多边形网格的格式来进行表达、存储和处理，这种不规则结构使得传统深度神经网络不能对其进行处理。由此可见，网格的规则化表示非常重要。2015年，Pfister等人在人体姿态估计中将三角网格顶点按一定顺序重新排列，然后将顶点空间坐标值矩阵作为网络的输入进行训练。这种方法虽然简单直观，但是丢失了三角网格的拓扑信息并破坏了空间结构。体素是像素的3D延伸，这种格式可以被卷积神经网络(CNN)所处理，广泛应用于机器学习中。2016年Wu等设计的3D-GAN提出了基于体素的生成对抗网络，但它从3D空间规则采样、存储效率低等问题使得CNN很难处理并得到高分辨率的体素化数据。另一种常用于三维表示的格式是点云，由许多孤立的点组成，相当于移除了网格数据顶点之间的连接关系。点云数据结构无法形成物体表面，使得纹理和光照等很难应用到其中。

综合已存在的三维网格规格化方法，参数化为三角网格规则化表示提供了比上述三种方法更加高效的方法。ECK等在SIGGRAPH(1995)发表的一片文章中提出：一个具有任意拓扑结构和连接关系的三角网格数据嵌入在R³空间中，给定R³中一个表面网格S和R²中一个域Ω，参数化过程可以定义为一个双射函数F:Ω—S。2002年，Gu等提出了几何图像表示方法，使用完全规则的栅格采样点来表示三维模型表面。主要过程：首先，将网格进行剖分以减少参数化过程带来的扭曲；然后是其核心步骤：参数化，通常以保持形状扭曲最小为目标,将网格模型参数化到正方形区域(例如，采用Floater参数化方法和L2几何拉伸度量)；之后对参数化后的网格进行离散重采样，得到二维的规则化网格，该二维网格上的每个栅格点的颜色值(r,g,b)对应三维网格顶点的几何坐标值(x,y,z)。由此，就生成了与原始三维网格模型对应的彩色几何图像。按照同样的方法，可以构造与该几何图像对应的法向图像。重构三维网格模型时，几何图像中每2*2个栅格点围成的四方格沿着两个对角线中较小的那条对角线，分裂成两个三角形。根据栅格点的坐标值和新生成的拓扑连接关系，就可以重构出三维网格。该方法可以将一个三角网格从3D不规则结构映射为可用传统卷积神经网络处理的2D规则图像—几何图像和法向图像，该图像对很好地保护了原始网格的拓扑信息和空间结构。

几何图像和法向图像以图像的形式记录几何结构和相邻采样位置之间的相关性。对于来自两个不同域的非自然图像，用现有的方法和思想(如cascading GAN和COGAN)来学习二者之间的联合分布并不能得到很好的效果。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于几何图像参数化的三维网格模型生成方法，其能够保持图像对的一致性，确保像素级的可靠性和几何-法向的内在关系，可以生成具有多样性和真实性的三维网格模型，生成的人脸网格不仅保持了几何结构而且具有丰富的面部细节特征和表情特征。