[发明专利]一种基于全卷积神经网络的单目相机室外三维重建方法

说明书

本发明公开了一种基于全卷积神经网络的单目相机室外三维重建方法。本发明包括以下步骤：步骤1、利用监督学习的方式训练全卷积神经网络；步骤2、用全卷积神经网络对每一张图片进行深度估计；用单目相机拍摄一系列室外场景的连续的图片，然后将每一张图片作为输入，用前面已经训练好的全卷积神经网络对图片进行深度估计，得到其的三维点云模型；步骤3、用ICP算法将每一张图片的三维模型融合成一个完整的三维模型。本发明解决了单目相机的三维重建问题，且通过本发明可以在普通PC机或工作站等硬件系统上实现。

技术领域

本发明属于计算机视觉、计算机图形学技术领域，特别地，本发明涉及一种基于全卷积神经网络的单目相机室外三维重建方法。

背景技术

三维重建是计算机视觉与计算机图像学领域中一个重要且基础的问题，它在农业、医疗、航天、军事、环境观测、地形勘探等领域有着非常广泛的应用。而其中的一个小分支——对城市场景进行室外三维重建则可在地图导航、城市规划等领域起到重要作用。在过河城市的三维地图后，人们可以通过各种电子设备很方便地查看城市任何一个角落的样子，谷歌地图在这方面就是一个很成功的例子。通过与虚拟现实和增强现实技术相结合，再集成生活资讯、电子商务、虚拟社区等功能与服务，可以带给人们更加沉浸式的体验。因此，室外三维重建的研究具有极高的科研和应用价值。

在计算机图形学领域，单目相机的三维重建一直是一个重要且具有挑战性的问题。虽然单目相机不能像双目相机和深度相机那样通过三角测距或者ToF、结构光原理直接获取每一个像素的深度信息，但是经过长期发展，单目相机的技术相对成熟，成本较低，结构简单，对计算资源的要求不高，更容易商业化，比如人手一只的智能手机标配的摄像头就是很好的单目相机。因此，本发明的方法利用经过监督学习的方式训练好的全卷积神经网络对单目相机获取的每一张图片进行深度估计，然后将其融合成一个完整的三维模型，从而完成三维重建。

发明内容

本发明旨在提供一种有用的解决方案。为此本发明的目的在于解决单目相机的三维重建问题，其输入为多张由单目相机拍摄的室外场景的图片，发明中的方法分别单独对每一张图片进行深度估计，最后融合成一个完整的三维模型。

本发明提实现的过程包括以下步骤：

步骤1、利用监督学习的方式训练全卷积神经网络；

步骤2、用全卷积神经网络对每一张图片进行深度估计；

用单目相机拍摄一系列室外场景的连续的图片，然后将每一张图片作为输入，用前面已经训练好的全卷积神经网络对图片进行深度估计，得到其的三维点云模型；

步骤3、用ICP算法将每一张图片的三维模型融合成一个完整的三维模型；

所述的步骤1具体实现如下：

1-1.准备大量训练图片用于训练网格参数；

每一组训练图片包括对某一角度的室外场景拍摄的一张普通的彩色图片、以及该彩色图片对应的深度图片和像素级的语义分割信息；通过SYNTHIA数据集中像素级的语义分割信息剔除冗余数据；

1-2.对图片数据进行数学建模；用表示数据集中的N组彩色图片和深度图片，并且已知相机内参矩阵K；对于彩色图片I_i中的任意一个像素点q，它的齐次坐标为[x,y,1]^T，T表示转置；则它在三维空间中对应的点Q用一下公式计算得到：

Q＝D_i(q)·K^-1_q 公式1

假设三维空间中的一个平面的法向量为表示1*3的实数向量；为了使每个平面的法向量都是唯一的，n计算方式如下：

表示平面的单位法向量，从原点出发指向平面；d表示平面离原点的距离；如果点Q处在某个平面上，则满足