[发明专利]基于深度学习的单帧图像三维模型表面重建方法

权利要求书

1.一种基于深度学习的单帧图像三维模型表面重建方法，其特征在于，包括以下步骤：

步骤一：对CAD模型进行采样与渲染，生成模型真实形状点云与不同视点不同距离下的单帧图像；

步骤二：通过卷积神经网络对图像进行特征提取，获得二维图像的高层语义；

对每个训练样本的图像都使用相同的VGG16模型进行高层语义提取，即通过下式对每个训练样本的输入图像进行特征提取：

式中，N为正整数；表示第n个类别中第i个CAD训练样本中第j张图片所产生的高层语义；Extract_VGG16表示VGG16特征提取网络；表示第n个类别中第i个CAD训练样本中第j张图片；

Extract_VGG16包括输入层、卷积层、池化层以及输出层，对卷积层输出结果进行非线性修正；卷积层之间或卷积层与输入层之间关系如下式：

式中，Conv(i,j)表示第k卷积层中i行j列的数据，W_k-1,k(m,n)表示第k-1卷积层到第k卷积层的卷积核中第m行n列的数据，b_k-1,k表示第k-1个隐含层向第k个隐含层的线性单元的链接偏置；I表示输入层的输入图片，W_i,k(m,n)表示输入层向第k个隐含层的线性单元的链接权重，b_i,k表示输入层向第k个隐含层的线性单元的链接偏置；ReLU对每层卷积层输出结果进行非线性修正，其式为：

池化层的输入与输出之间关系如下公式：

Pool(i,j)＝max_m,nI(i+m,i+n)

Pool为池化层输出结果，I为输入语义，池化层取输入数据局部区域的最大值；

步骤三：将获得的高层语义通过全连接神经网络模块转化为三维重建阶段NURBS曲面变化所需要的控制点坐标与权值参数；

步骤四：利用得到的控制点坐标与权值参数对初始化的NURBS模型进行更新，逐步进行三维重建；

NURBS模型初始化：初始化控制点作为作用对象，每个控制点都有坐标(x,y,z)和权重w；

NURBS三维模型重建：利用得到的NURBS变化所需要的控制点坐标和权重参数对初始模型进行更新，得到目标三维模型；初始化与模型更新如下式所示：

其中，C(μ,v)代表每个区间内形状函数；w_i代表控制点的权重，C_i即(x_i,y_i,z_i)代表控制点的坐标；N_i,d(μ,ν)代表区间函数，μ,v代表曲面不同方向的区间节点，n代表区间总数，对应n+1区间节点，d代表区间函数的阶数；

步骤五：训练深度学习模型，将训练样本输入深度学习模型自动训练，得到最优模型参数，完成三维重建；

在前向传播过程中，网络卷积核与特征图进行点积计算，逐步得到高层语义，全连接神经网络模块对高层语义进行回归得到重建阶段所需参数，完成NURBS的控制节点坐标与权值更新；在反向传播过程中，模板卷积核与全连接层更新参数；

使用生成的三维模型与真实三维模型的倒角距离对神经网络进行训练，即通过下式对神经网络进行训练：

式中，loss代表损失函数，L_CD代表求取生成的三维模型与真实三维模型的倒角距离，P代表生成的三维模型，Q代表真实形状三维模型，||·||2表示二范数。

2.如权利要求1所述的基于深度学习的单帧图像三维模型表面重建方法，其特征在于，在步骤一中，采用OpenGL对CAD模型进行采样与渲染，生成训练样本。