[发明专利]一种基于深度学习的单目视觉场景深度估计的方法

摘要

本发明涉及一种基于深度学习的单目视觉场景深度估计的方法，采用VGG‑13网络模型，利用深度可分离卷积层代替标准卷积层以减少模型参数量，得到可用于获取视差图像的网络模型；将单目图像输入训练好的网络模型，生成多个尺度的视差图，再结合多尺度融合与视差图平滑生成与输入图像尺度一致的单幅视差图；根据多视图几何学中视差图与深度图的几何变换关系，生成对应的深度图像。有益效果：使用简单易得的双目可见光图像训练网络模型而不用使用获取代价很高的真实深度数据；采用深度可分离卷积代替标准卷积，可以减少网络模型的参数量为之前的七分之一，提升模型的推理速度。

主权项

1.一种基于深度学习的单目视觉场景深度估计的方法，其特征在于步骤如下：步骤1、网络模型的构建及训练，获得一个能够生成单目场景视差图的网络模型：采用标准的VGG‑13网络模型，以深度可分离卷积作为网络模型每一层中的标准卷积，采用图像重构损失、视差平滑性损失以及左右视差一致性损失构建网络的损失函数，将标准数据集中的双目图像对输入网络模型，输出模型损失，利用最小化损失的思想，采用随机梯度下降的方法训练网络模型；所述损失函数为：其中分别为左右图像的重构损失，分别为左右视差图的视差平滑性损失，分别为左右视差一致性损失，α、β、γ分别为三种损失在总损失中所占有的权重；步骤2、通过网络模型获取M个不同尺度的视差图，再经过多尺度融合与视差图平滑生成与输入图像尺度一致的单幅视差图：(1)多尺度融合：设置尺度参数为M，对于采集的单目场景图像，采用张正友标定法进行图像校正，将校正后的单目图像输入训练好的网络模型；输入图像尺度为S，通过网络模型输出M个尺度分别为S/2⁰、S/2¹、S/2²、…、S/2^M‑1的视差图；将尺度为S/2¹、S/2²、…、S/2^M‑1的视差图分别经过多次双线性插值之后生成M‑1个尺度为S的视差图，对于全部M个尺度均为S的视差图，对每个像素位置的视差值采用线性叠加并求均值的操作，得到视差图：式中：为第M个视差图在像素坐标(i，j)处的视差值，d_ij为最终获取的视差图在像素坐标(i，j)处的视差值；(2)视差图平滑：对视差图像采用的高斯滤波器为(2k+1)×(2k+1)大小，其(i,j)位置的元素值为：其中，σ为高斯分布标准差，M(i，j)为高斯滤波器M在矩阵位置(i，j)处的值，(i，j)取值范围均为[1，2k+1]的整数；本步骤获得与输入图像尺度一致，用于生成深度图像的视差图；步骤3、深度图像生成：根据多视图几何学中视差图与深度图的几何变换关系，根据下式的转换规则，生成对应的深度图像：depth_ij＝b×f/d_ij式中：d_ij为像素坐标(i，j)处的视差值，depth_ij为像素坐标(i，j)处的深度值，b为已知相机基线距离，f为相机焦距。根据获得与输入单目图像对应的深度图像，完成单目场景深度估计。