[发明专利]一种利用单张彩色图的三维网格重建方法

权利要求书

1.一种利用单张彩色图的三维网格重建方法，其特征在于，包括：对于图像，设计一个多层的全卷积特征网络，用于提取图片不同层次的特征；对于三维网格，设置一个初始椭球，用图神经网络表示，利用图片特征不断对椭球进行形变，以逼近真实形状；同时，设计投影层连接图像端和三维网格端，在此框架下训练一个端到端的神经网络，即给定一张彩色图，输出对应的三维网格模型；

具体步骤为：

（1）收集二维图片及其对应的三维标注信息：首先收集大量原始三维CAD模型；对于二维图像，随机初始化相机参数，通过渲染CAD模型的方式合成图片；对于三维标签，在原始CAD模型上均匀采样固定数量的点，并记录每个点的法向量，生成含有法向量信息的点云数据；

（2）构建一个初始椭球网格模型：设置空间隐性方程：

x² + 2*y² + 2*(z+0.8)² - 0.08 = 0，

然后在方程上均匀采样，得到一个含有156个顶点、308个面的三角椭球网格模型；三维网格由节点、边和面构成，用图来表示，用邻接矩阵表示图中节点间的连接关系，若两个节点相连则值不为零，若不相连则值为零，由于此邻接矩阵中大部分值都为零，所以用稀疏矩阵的形式表示；

（3）构建从图像生成三维网格的深度神经网络，具体包括两部分，第一部分是图片特征网络，设计一个18层的卷积神经网络，此神经网络由卷积层和池化层构成；每2-3个卷积层后面使用一个池化层进行特征降维，用此卷积神经网络提取图像特征；第二部分是三维网格形变网络，设计一个14层的图卷积的神经网络，中间所有隐含层特征均为128维，输出层特征是3维，即更新后的节点坐标；图卷积神经网络在图的节点间学习和交换特征，能够根据卷积神经网络提取的图片特征对初始模型进行多次形变，使得节点坐标不断逼近真实值；另外，设计了一个投影层，此投影层的作用在于连接图片特征网络和网格形变网络，其输入是节点三维坐标，输出是图像二维坐标；并且，根据相机参数将网格节点三维坐标投影回图片二维坐标，从而根据这个坐标在特征图上取特征，作为节点的初始特征向量；

（4）构建由粗到精的生成模块：采用由粗到精的方式，设计一个图的向上池化层，图的向上池化层的输入是含有较少节点的三维网格，输出是增加了节点和边数量的三维网格；具体而言，针对三维网格的每个三角形，在每条边的中点插入一个节点，然后把同一个三角形的三条边上增加的三个节点连接起来作为新增加的边；

（5）构建损失函数：设计与三维网格相关的损失函数作为训练的监督信号，具体而言，采用chamfer损失函数回归每个节点的位置，使其逼近真实坐标；采用normal损失函数使得生成的面光滑；采用edge损失函数使得所有条边短并且均匀；采用laplace损失函数使得相邻节点移动方向相同；

（6）训练深度神经网络：利用反向传播算法，使用梯度下降算法优化图片特征网络和三维网格形变网络中的参数；在模型训练完成之后，对于给定的一张彩色图片，输入训练完成之后的模型，直接得到重建的三维网格。