[发明专利]一种基于深度学习的单帧图像三维重建装置及方法

权利要求书

1.基于深度学习的单帧图像三维重建方法，其特征在于包括以下步骤：

1)将待拍摄物体放置在高清相机正下方，在与高清相机同一水平面上，围绕高清相机设置三个平行光LED面光源，每个平行光LED面光源至高清相机的距离相等，每个平行光LED面光源与高清相机及其邻近的平行光LED面光源呈120度夹角，三个平行光LED面光源分别为白红、白绿、白蓝光源；

2)利用高清相机和平行光LED面光源拍摄n组训练样本，对于每一组训练样本，都包含一张红绿蓝灯同时照射下的物体图像和三个白灯依次开启的状态下拍摄的三张物体图像；拍摄时，保持物体静止，每拍摄一组训练样本，将物体旋转1-10度再进行下一组训练样本的拍摄，待第一种待拍摄物体旋转完一圈后，更换一下一种物体；n为不低于100的自然数；

3)对所拍摄图像进行预处理：对于上步获得得每组训练样本，取其中心m×m像素大小的图像块；将截取后的白光依次照射下的三张图像取灰度值，转变为单通道图像；所述m取值100-600；

对以上处理后的图像进行归一化操作，将红绿蓝光同时照射下得图像的每一通道像素值范围由0到255归一化至0到1，成为m×m×3大小的矩阵；将白光依次照射下的三张单通道灰度图像的像素值由0到255归一化至0到1，将归一化后三张白光依次照射下的图像数据在矩阵的第三维上拼接，成为m×m×3大小的矩阵；将以上两个矩阵数据利用Matlab中reshape命令重塑成两个m²×3大小的矩阵Y和W；

对所有训练样本做同样处理操作，并将所有样本处理后所得的矩阵Y和W在矩阵的第一维上拼接，如果有n个训练样本组，那么拼接后得到的矩阵Y_z和W_z的大小为(nm²)×3，Y_z作为训练模型所需的输入数据，W_z作为训练模型所需的真值；

4)利用深度学习的方法，根据输入的数据，构建一个适用于单帧图像三维重建的逐像素的全连接网络模型：

全连接网络的结构模型由11个层组成，包括输入层，输出层，和9个隐藏层，每一层都囊括需要训练的权值参数；输入层为矩阵Y_z一行的3个值，输出层为矩阵W_z中对应行的3个值，输入层中的输出节点数量为2048；隐藏层1的输入节点数量为2048，输出节点数量为2045；隐藏层2至隐藏层8的输入节点数量均为2045，输出节点数量为2048；隐藏层9的输入节点数量为2048，输出节点数量为3；输出层的输入节点数量为3；在隐藏层2至隐藏层8中，重复加入了与输入层相同的数据，以减少输出层数据的过度融合并防止训练时的退化和梯度消失；

5)训练模型，初始化网络参数，利用反向传播算法不断调整优化网络参数：

通过计算相对偏差REL作为损失函数，利用损失量最小化来控制训练过程，并使其在恰当的时刻停止训练，以达到最优效果，选择当相对偏差REL小于2％时，即认为训练已经达到最优效果；

上述损失函数的计算公式为：

其中，t表示每次训练批量的大小，表示一个训练批量中第i个数据的网络输出预测值，y_i表示一个训练批量中第i个数据的真值；本方法中，一个训练批量的大小为1600；为了计算各个隐藏层中的误差，使用反向传播算法来计算得到；

6)预测目标表面三维信息：将训练好的模型参数保存，并输入预测样本组数据，预测样本同样由步骤1、2的方式进行拍摄，使用同样的图像预处理步骤，将一张红绿蓝灯同时照射下的物体图像处理为m²×3的矩阵数据；经过训练好的网络的预测，输出同样m²×3大小的矩阵数据；

通过Matlab软件的reshape命令，将预测的m²×3的矩阵数据重塑为m×m×3大小的矩阵数据，并在矩阵的第三维上拆分为预测好的三张白色灯光照射下的归一化灰度图像；

7)将三张归一化的灰度图像通过光度立体方法，求得目标表面法向，再依据积分算法得出目标表面三维信息，从而完成基于深度学习的单帧图像三维重建。