[发明专利]一种基于卷积神经网络的单目深度信息获取方法

说明书

本发明涉及计算机视觉领域、图像处理技术领域，具体涉及一种基于卷积神经网络的单目深度信息获取方法。首先图像预处理，构建训练样本，再构建网络模型，之后获取待匹配的图像，再将待匹配的图像进行匹配代价计算，得到初始匹配代价，然后再对初始匹配代价进行带权值的十字交叉聚合处理，并进行半全局算法的优化，获得优化后的匹配代价；然后计算并优化视差图，最后利用视差计算深度信息。本发明解决了现有立体匹配网络模型在弱纹理区域无法精确寻找到像素匹配点以及细节特征表现效果差的问题，本发明实现了使用单目摄像机采集图像序列获取真实场景的深度信息，并消除了视差图中的大量噪声，获得了精度更高的真实场景深度信息。

技术领域：

本发明涉及计算机视觉领域、图像处理技术领域，具体涉及一种基于卷积神经网络的单目深度信息获取方法。

背景技术：

计算机视觉领域的热门研究方向之一是使用图像集合或者序列等二维影像，恢复出场景中物体的深度信息。通常按照提供的场景视点数量的不同，可以将深度信息获取的算法分为三种：基于多视点图像、基于双目图像和基于单目图像的深度信息获取算法。其中基于多视点图像的深度信息获取使用摄像机阵列进行对同一场景采集的图像数据。基于双目图像的深度信息获取使用两摄像头模仿人类双眼的相对位置，通过立体匹配技术获取视差，再根据视差与深度信息的关系得到深度信息。与以上两种方法不同，单目立体视觉从单个摄像机采集的图像序列中获取场景三维环境信息。因为单目立体视觉中使用的图像采集设备更贴近日常应用，需求更广泛，其研究对促进计算机视觉领域的发展有着十分重要的意义。

目前，根据单目获取深度信息的方法原理，可以将单目视觉深度信息获取技术分为两类：基于深度线索的信息获取算法和基于机器学习的深度信息获取算法。基于深度线索(包括运动信息或透视聚焦、遮挡、纹理、阴影等特征信息)的信息获取算法对场景特殊性要求较高，在真实拍摄过程中摄像机与物体的运动状态以及场景状况不可预知，而且在得到基于特征点的稀疏视差图后，若要进行三维重建还需进一步求得稠密视差图；基于机器学习的深度信息获取算法，包括基于图模型的算法和基于深度信息采样的算法，这类算法由于依赖人为设计特征以及大型深度数据库，计算速度较慢。

发明内容：

发明目的：

为了获得较高精度的深度信息，减少计算时间，解决现有立体匹配网络模型在弱纹理区域无法精确寻找到像素匹配点以及细节特征表现效果差的问题，同时适应日常使用的单目设备。本发明提供了一种基于卷积神经网络的单目深度信息获取方法。

技术方案：

一种基于卷积神经网络的单目深度信息获取方法，方法包括：

步骤一：图像预处理：对标准图库中带有真实视差值的立体图像对分别做相同的随机变化预处理，得到训练数据和测试数据；

步骤二：构建训练样本：在预处理训练数据的图像对中，选择两张图像中的多组对应图像块组成训练样本；

步骤三：构建网络模型：网络模型由L1到L8共8层构成，分成2个部分；第一部分构建两个相同的子网络，L1到L4共四层，每一层的结构都依次由卷积层、归一化层和ReLU激活函数组成；然后在L5层通过一个连接层，将两个子网络提取的特征向量连接为一个张量；第二部分是决策层，L6到L8共三层结构，每层都由全连接层和ReLU激活函数组成，最后一层全连接L8后使用sigmod函数输出结果；

步骤四：获取待匹配的图像：使用单目摄像机获取视频序列，通过摄像机自标定消除图片畸变，并利用几何校正对齐图片，获得待匹配的图像；

步骤五：匹配代价计算：将待匹配的图像对输入到训练好的卷积神经网络模型，输出待匹配的图像对的相似度数值，根据相似数确定初始匹配代价；

步骤六：匹配代价聚合和优化：对初始匹配代价进行带权值的十字交叉聚合处理，同时采用半全局算法的优化匹配代价；