[发明专利]基于超像素处理遮挡的单目深度估计方法

说明书

本发明提供一种基于超像素处理遮挡的单目深度估计方法，属于计算机视觉领域，步骤一，图像预处理：对输入的双目图片进行图像去噪以及生成遮挡物体掩膜；步骤二，采用相机位姿估计进行位姿估计对图像进行重建：首先进行特征提取，相机位姿估计使用PoseCNN，之后将输入图像分为三个任务，分别为语义分割、三维旋转回归、三维平移估计；步骤三，采用深度估计网络进行深度估计对图像进行重建；步骤四，计算光度重建损失。使用光度重建损失来识别遮挡，可以有效去除影响网络训练的遮挡物体；图像输入网络之前，使用聚类分割，然后使用SSIM指标重新匹配双目图像对，网络预测的图像比较单一，提高了网络估计的准确率。

技术领域

本发明涉及涉及计算机视觉领域，尤其涉及一种基于超像素处理遮挡的单目深度估计方法。

背景技术

深度估计是计算机视觉领域的一个基础性问题，其可以应用在机器人导航、增强现实、三维重建、自动驾驶等领域。而目前大部分深度估计都是基于二维RGB图像到RBG-D图像的转化估计，主要包括从图像明暗、不同视角、光度、纹理信息等获取场景深度形状的Shape from X方法，还有结合SFM和SLAM等方式预测相机位姿的算法。有很多用于获取深度信息的设备，但是设备造价昂贵。单目深度估计之外还有双目进行深度估计，双目图像需要利用立体匹配进行像素点对应和视差计算，计算复杂度大，尤其是对于低纹理场景的匹配效果不好。单目深度估计相较于双目深度估计成本更低，更容易普及。

单目深度估计分为监督算法和无监督算法。监督算法需要地面真值作为约束，监督算法的发展受到数据集的限制。无监督算法，在不使用深度真值的条件下，构造约束条件。深度数据的获取难度较高，目前大量算法都是基于无监督模型的。使用两个摄像机采集的双目图像数据进行联合训练。双目数据通过重建算法可彼此预测，从而获得相应的视差数据，再根据视差与深度的关系进行计算。另一种算法是将双目图像中各个像素点的对应问题看作是立体匹配问题进行训练。

基于光度重建损失的深度估计算法中，遮挡物体的存在使图像重建产生错误，遮挡像素的处理一般使用掩膜，掩膜对遮挡物体的识别存在不准确的情况；由于噪声存在，遮挡物体存在识别错误的情况；掩膜对遮挡像素的识别存在漏检、错检的情况。

发明内容

为解决上述问题，本发明提供一种基于超像素处理遮挡的单目深度估计方法，包括以下步骤：

步骤一，图像预处理：输入一组双目图片，对双目图片进行图像去噪，使用深度图生成遮挡物体掩膜；

步骤二，采用相机位姿估计进行位姿估计对图像进行重建：首先进行特征提取，相机位姿估计使用PoseCNN，之后将输入图像分为三个任务，分别为语义分割、三维旋转回归、三维平移估计；

步骤三，采用深度估计网络进行深度估计对图像进行重建；

步骤四，计算光度重建损失。

进一步改进在于，所述步骤一具体为：输入一组双目图片，首先对图片进行滤波，提高图像的质量；使用聚类分割算法对图像进行聚类分割；初始化种子点，按照设定的超像素个数，在图像内均匀的分配种子点；假设图片总共有 N 个像素点，预分割为 K 个相同尺寸的超像素，那么每个超像素的大小为 ，则相邻种子点的距离即步长近似为；在种子点的邻域内重新选择种子点；在每个种子点周围的邻域内为每个像素点分配类标签；左视图聚类分割的结果记为集合L，右视图聚类分割的结果记为集合R，使用结构性相似指标对左右视图重新配对；结构相似性指标公式为

，

其中，是输入的图像，为的平均数, 为的平均数，为的方差，为的方差，为和的协方差，和为常数，其中，，是像素值的动态范围；

L中的元素为L1,L2,L3...,R中的元素为R1,R2,R3...,L1与R中的所有元素计算结构相似性，若L1和R1结构相似性指标最小，即L1和R1最相似，则L1和R1组成新的双目图像对；生成的双目视觉对用集合表示，计算光度重建损失，光度重建损失如下：