[发明专利]单目图像深度估计方法及装置

权利要求书

1.一种单目图像深度估计方法，其特征在于，包括以下步骤：

获取单目视频序列，通过SLAM算法对所述单目视频序列进行处理生成关键帧稀疏特征点深度信息；

根据所述关键帧稀疏特征点深度信息和所述单目视频序列构建训练集；

构建端对端网络模型；

对所述关键帧稀疏特征点深度信息进行恢复生成深度图，根据所述深度图及所述深度图对应的深度点计算几何误差，计算相似性误差和深度图光滑度，根据所述几何误差、所述相似性误差及所述深度图光滑度构造损失函数；

根据所述训练集和所述损失函数对所述端对端网络模型进行训练，生成单目图像深度估计模型，通过所述单目图像深度估计模型对单目图像的深度信息进行估计；

所述几何误差为：

其中，mask为一个稀疏矩阵，d_i为归一化后的深度图在点i处的深度，ξ_i为所述端对端网络模型估计出的点i处的深度；

所述损失函数为：

其中，为几何误差，为相似性误差，为深度图光滑度，λ_sp与λ_sm为超参数。

2.根据权利要求1所述的方法，其特征在于，

将所述单目视频序列输入到SLAM系统中，通过所述SLAM算法优化生成所述关键帧稀疏特征点深度信息。

3.根据权利要求1所述的方法，其特征在于，还包括：对所述深度图进行归一化，归一化公式为：

其中，D_sp为单目视频序列中的图像对应的监督深度图，k为深度图中具有深度信息的像素点个数，d_av为监督深度图的平均深度。

4.一种单目图像深度估计装置，其特征在于，包括：

生成模块，用于获取单目视频序列，通过SLAM算法对所述单目视频序列进行处理生成关键帧稀疏特征点深度信息；

第一构建模块，用于根据所述关键帧稀疏特征点深度信息和所述单目视频序列构建训练集；

第二构建模块，用于构建端对端网络模型；

计算模块，用于对所述关键帧稀疏特征点深度信息进行恢复生成深度图，根据所述深度图及所述深度图对应的深度点计算几何误差，计算相似性误差和深度图光滑度，根据所述几何误差、所述相似性误差及所述深度图光滑度构造损失函数；

估计模块，用于根据所述训练集和所述损失函数对所述端对端网络模型进行训练，生成单目图像深度估计模型，通过所述单目图像深度估计模型对单目图像的深度信息进行估计；

所述几何误差为：

其中，mask为一个稀疏矩阵，d_i为归一化后的深度图在点i处的深度，ξ_i为所述端对端网络模型估计出的点i处的深度；

所述损失函数为：

其中，为几何误差，为相似性误差，为深度图光滑度，λ_sp与λ_sm为超参数。

5.根据权利要求4所述的装置，其特征在于，

将所述单目视频序列输入到SLAM系统中，通过所述SLAM算法优化生成所述关键帧稀疏特征点深度信息。

6.根据权利要求4所述的装置，其特征在于，还包括：对所述深度图进行归一化，归一化公式为：

其中，D_sp为单目视频序列中的图像对应的监督深度图，k为深度图中具有深度信息的像素点个数，d_av为监督深度图的平均深度。