[发明专利]一种基于全卷积神经网络的单目相机室外三维重建方法

权利要求书

1.一种基于全卷积神经网络的单目相机室外三维重建方法，其特征在于包括以下步骤：

步骤1、利用监督学习的方式训练全卷积神经网络；

步骤2、用全卷积神经网络对每一张图片进行深度估计；

用单目相机拍摄一系列室外场景的连续的图片，然后将每一张图片作为输入，用前面已经训练好的全卷积神经网络对图片进行深度估计，得到其的三维点云模型；

步骤3、用ICP算法将每一张图片的三维模型融合成一个完整的三维模型；

所述的步骤1具体实现如下：

1-1.准备大量训练图片用于训练网格参数；

每一组训练图片包括对某一角度的室外场景拍摄的一张普通的彩色图片、以及该彩色图片对应的深度图片和像素级的语义分割信息；通过SYNTHIA数据集中像素级的语义分割信息剔除冗余数据；

1-2.对图片数据进行数学建模；用表示数据集中的N组彩色图片和深度图片，并且已知相机内参矩阵K；对于彩色图片I_i中的任意一个像素点q，它的齐次坐标为[x，y，1]^T，T表示转置；则它在三维空间中对应的点Q用一下公式计算得到：

Q＝D_i(q)·K^-1q 公式1

假设三维空间中的一个平面的法向量为表示1*3的实数向量；为了使每个平面的法向量都是唯一的，n计算方式如下：

表示平面的单位法向量，从原点出发指向平面；d表示平面离原点的距离；如果点Q处在某个平面上，则满足n^TQ＝1；

假设彩色图片I_i中有M个平面，则对彩色图片构建一个像素概率矩阵S_i；其中的S_i(q)是一个(M+1)维的向量，它的第j个元素记为表示像素q落在第j个平面的概率，同时用j＝0表示非平面；通过最小化下面的目标函数可以获得第i张图片的平面参数

其中，为正则项，为了防止网络生成不重要的结果即把所有像素点都归到非平面；α则是学习速率；将像素q从一张图片投影到三维空间的时候，它所对应的三维空间中的点由于透视结构，一定在从q出发的一条射线上；记射线和平面的交点的深度为λ，像素q在空间上的三维坐标为λ·k^-1q；所以

对于正则项用如下公式计算：

其中表示像素q落在平面上的概率，取值范围在[0，1]；

将数据集中的语义信息分成两类：“保留”＝{建筑，马路，人行道，车道线}和“舍弃”＝{行人，汽车，天空，自行车}；如果一个像素点属于“保留”类的话，则令z(q)＝1；如果属于“舍弃”类的话，则令z(q)＝0；于是将上面的正则项公式重写为：

全卷积神经网络分成两大部分：一个部分用来分割图片中的平面；另一部分则是用来生成图片的三维点云模型的；两个部分共享相同抽象的特征图。

2.根据权利要求1所述的一种基于全卷积神经网络的单目相机室外三维重建方法，其特征在于步骤3所述的用ICP算法将每一张图片的三维模型融合成一个完整的三维模型，具体实现如下：

3-1.求解出两个点云的重叠部分；

首先使用SIFT算法提取和匹配两张图片的特征点，得到匹配点集Q和Q′；对于这两个点集之间的变换，求得其单应矩阵H，即Q′＝H·Q；

然后计算配准图的四个顶点坐标，接着进行图像配准，进而得到两张图片中重叠区域的像素集合，再通过语义信息仅保留其中归属于“保留”类别的像素，最终得到像素集合N′＝{1，…，n′}；

对于两个已知的点云，其重叠区域可分别表示成：

P＝{p₁，...，p_n′}P′＝{p′₁，...，p′_n′} 公式9

3-2.找到一个欧式变换的旋转矩阵R和平移矩阵t，将两个点云进行匹配，即：

应用ICP算法求解出R和t，通过使误差平方和达到极小求得R和t，即

首先计算旋转矩阵R，两组点云的质心位置；

然后计算每组点云中点的去质心坐标q_i和q′_i：

q_i＝p_i-P，q′_i＝p′_i-p 公式13

定义矩阵W为一个3×3矩阵，对W进行SVD分解，得：

W＝U∑V^T

则R为

R＝UV^T

然后计算平移矩阵t

t＝p-Rp′；

3-3.得到平移、旋转变换后，用如下公式将P′中的点云变换到P坐标系下：

从而实现两个点云的融合对所有的点云都采取此操作，直至只留下一个三维点云模型，从而完成了整个室外场景的三维重建。