[发明专利]一种基于全卷积神经网络的单目相机室外三维重建方法

摘要

本发明公开了一种基于全卷积神经网络的单目相机室外三维重建方法。本发明包括以下步骤：步骤1、利用监督学习的方式训练全卷积神经网络；步骤2、用全卷积神经网络对每一张图片进行深度估计；用单目相机拍摄一系列室外场景的连续的图片，然后将每一张图片作为输入，用前面已经训练好的全卷积神经网络对图片进行深度估计，得到其的三维点云模型；步骤3、用ICP算法将每一张图片的三维模型融合成一个完整的三维模型。本发明解决了单目相机的三维重建问题，且通过本发明可以在普通PC机或工作站等硬件系统上实现。

主权项

1.一种基于全卷积神经网络的单目相机室外三维重建方法，其特征在于包括以下步骤：步骤1、利用监督学习的方式训练全卷积神经网络；步骤2、用全卷积神经网络对每一张图片进行深度估计；用单目相机拍摄一系列室外场景的连续的图片，然后将每一张图片作为输入，用前面已经训练好的全卷积神经网络对图片进行深度估计，得到其的三维点云模型；步骤3、用ICP算法将每一张图片的三维模型融合成一个完整的三维模型；所述的步骤1具体实现如下：1‑1.准备大量训练图片用于训练网格参数；每一组训练图片包括对某一角度的室外场景拍摄的一张普通的彩色图片、以及该彩色图片对应的深度图片和像素级的语义分割信息；通过SYNTHIA数据集中像素级的语义分割信息剔除冗余数据；1‑2.对图片数据进行数学建模；用表示数据集中的N组彩色图片和深度图片，并且已知相机内参矩阵K；对于彩色图片I_i中的任意一个像素点q，它的齐次坐标为[x，y，1]^T，T表示转置；则它在三维空间中对应的点Q用一下公式计算得到：Q＝D_i(q)·K^‑1q   公式1假设三维空间中的一个平面的法向量为表示1*3的实数向量；为了使每个平面的法向量都是唯一的，n计算方式如下：表示平面的单位法向量，从原点出发指向平面；d表示平面离原点的距离；如果点Q处在某个平面上，则满足n^TQ＝1；假设彩色图片I_i中有M个平面，则对彩色图片构建一个像素概率矩阵S_i；其中的S_i(q)是一个(M+1)维的向量，它的第j个元素记为表示像素q落在第j个平面的概率，同时用j＝0表示非平面；通过最小化下面的目标函数可以获得第i张图片的平面参数其中，为正则项，为了防止网络生成不重要的结果即把所有像素点都归到非平面；α则是学习速率；将像素q从一张图片投影到三维空间的时候，它所对应的三维空间中的点由于透视结构，一定在从q出发的一条射线上；记射线和平面的交点的深度为λ，像素q在空间上的三维坐标为λ·k^‑1q；所以对于正则项用如下公式计算：其中表示像素q落在平面上的概率，取值范围在[0，1]；将数据集中的语义信息分成两类：“保留”＝{建筑，马路，人行道，车道线}和“舍弃”＝{行人，汽车，天空，自行车}；如果一个像素点属于“保留”类的话，则令z(q)＝1；如果属于“舍弃”类的话，则令z(q)＝0；于是将上面的正则项公式重写为：全卷积神经网络分成两大部分：一个部分用来分割图片中的平面；另一部分则是用来生成图片的三维点云模型的；两个部分共享相同抽象的特征图。