[发明专利]一种基于深度学习的路面病害三维重建方法

权利要求书

1.一种基于深度学习的路面病害三维重建方法，其特征在于，该方法包括以下内容：

构建数据库：由不同种类的、不同拍摄角度采集的路面病害图像构建成标准化路面病害数据库；

构建CAD模型：对每类路面病害进行实地测量，采集该类病害的尺寸数据，利用CAD进行建模，获得不同种类路面病害的CAD模型；

神经网络建模：以标准路面病害图像数据库中不同拍摄视角的分好类的病害图像进行训练建模，用结构生成器预测像素的三维坐标，结合不同拍摄角度的图像3D姿态进行坐标运算实现点云融合，生成预测三维模型；利用伪渲染器对预测三维模型随机生成k个不同视点的预测三维模型投影深度图；

再利用对应类路面病害的CAD模型生成与预测三维模型视点及数量相同的CAD模型投影深度图；将预测三维模型投影深度图与CAD模型投影深度图进行误差计算，通过3D几何推理将误差均分到k个不同视点，对预测三维模型进行优化，获得不同种类的病害三维模型；

参数提取：对病害三维模型添加外接长方体，提取病害三维模型的形态参数；再根据拍摄图像与实际病害之间的尺寸换算关系，得到真实病害形态参数。

2.根据权利要求1所述的重建方法，其特征在于，路面图像的拍摄方式采用无人机航拍技术，从5个角度对路面信息进行采集：以5米的飞行高度分别从1条正射航线和4条倾斜航线采集道路路面图像数据，其中正射航线云台角度为-90度，倾斜航线倾斜角度为-45度，航向重叠率为80、旁向重叠率为80，将采集到的图片分方向分角度进行保存；记录拍摄图像与实际病害之间的尺寸换算关系，即每个像素点的实际区域大小为0.14cm*0.14cm的正方形区域，取该正方形区域的中心点坐标代表该像素点的坐标值。

3.根据权利要求1所述的重建方法，其特征在于，所述结构生成器用以预测三维对象在N个不同视点的3D结构，结构生成器基于2D卷积运算来预测表示3D表面几何形状的(x，y，z)图像；每个像素位置的3D坐标为X_i＝[x_i,y_i,z_i]^T,在第n个视点中任何一个3D点i的预测坐标都能转换到标准3D坐标P_i，转换关系为：

这个转换关系即为预测的3D点和标准3D坐标中点云的融合集合之间的关系，用以预测坐标的点融合生成模型点云，标准3D坐标系为笛卡尔坐标系；

其中K是相机矩阵，(R_N,t_N)为在N视点的刚性变换矩阵，t_N是三维的平移向量，R_N是旋转矩阵，n＝1,2,…,N；

结构生成器由线性层和2D卷积层构成，2D卷积层包含多层卷积，2D卷积层的卷积核大小为3*3，通过每一个卷积操作特征图尺寸减半，线性层进行点云融合生成预测三维模型。

4.根据权利要求1所述的重建方法，其特征在于，使用伪渲染器对目标图像进行伪渲染操作，使密集的点云合成新的深度图像，伪渲染器的上采样因子U取值为50；

从预测三维模型投影得到新视角的2D投影深度图，记为伪渲染深度图需要进行标准3D坐标转换到图像坐标，在第k个新视点，标准3D坐标P_i转化到图像坐标转换关系为：

其中K为相机矩阵，(R_k，t_k)为k视点的三维刚性变换矩阵；为三维模型点在2D投影深度图中的投影位置，为投影深度图像的像素值。

5.根据权利要求1所述的重建方法，其特征在于，预测三维模型进行优化时使用的损失函数L为：

其中为第t个视点的预测三维模型投影深度图，Z_t为CAD模型投影深度图；

使用预测三维模型和CAD模型之间的平均逐点3D欧几里得距离来测量，即对预测三维模型中的点P_i和CAD模型中的点P_j进行距离计算，将所有点的距离最小化，即两个模型的贴合程度最大，误差计算公式为：

误差ε_i表示测量3D形状相似性。