[发明专利]结合时空增强光度损失的自监督单目深度估计方法和装置

权利要求书

1.一种结合时空增强光度损失的自监督单目深度估计方法，其特征在于，包括以下步骤：

获取图像序列中相邻的若干帧图像；

将所述图像输入至训练好的深度学习网络中得到深度信息和位姿信息，其中，所述深度学习网络的光度损失信息基于深度感知像素对应关系的空间变换模型得到，并利用全向自动掩膜来避免运动物体的像素参与光度误差的计算。

2.根据权利要求1所述的结合时空增强光度损失的自监督单目深度估计方法，其特征在于，所述光度损失信息基于深度感知像素对应关系的空间变换模型得到具体为：

对于远处区域利用单应矩阵进行空间变换，并构造第一重建图；其中，所述远处区域将远处区域看作为一个无穷远的平面；

利用基础矩阵进行空间变换，并构造第二重建图；

通过两种像素对应关系求解出基于所述第一重建图的光度误差图和基于所述第二重建图的光度误差图，然后逐像素选取最小值，得到最终的光度损失信息。

3.根据权利要求1所述的结合时空增强光度损失的自监督单目深度估计方法，其特征在于，所述利用全向自动掩膜来避免运动物体的像素参与光度误差的计算具体为：

通过预训练网络预测目标帧的初始深度和初始位姿，并生成初始重建图；

将干扰项加到所述初始位姿上，并利用空间变换得到若干假设的重建帧；利用所述假设的重建帧，结合所述目标帧的光度，生成多个光度误差图，并利用所述多个光度误差图得到多个二值化掩膜；

从所述多个二值化掩膜中选取最小值作为最终的掩膜。

4.根据权利要求3所述的结合时空增强光度损失的自监督单目深度估计方法，其特征在于，所述干扰项为平移扰动项，包括：[t_max,0,0]、[-t_max,0,0]、[0,0,t_max]和[0,0,-t_max]，其中，t_max表示初始化的平移向量中的最大值。

5.一种结合时空增强光度损失的自监督单目深度估计装置，其特征在于，包括：

获取模块，用于获取图像序列中相邻的若干帧图像；

估计模块，用于将所述图像输入至训练好的深度学习网络中得到深度信息和位姿信息；

所述深度学习网络的光度损失信息基于深度感知像素对应关系模块的空间变换模型得到，并利用全向自动掩膜模块来避免运动物体的像素参与光度误差的计算。

6.根据权利要求5所述的结合时空增强光度损失的自监督单目深度估计装置，其特征在于，所述深度感知像素对应关系模块包括：

第一构造单元，用于对于远处区域利用单应矩阵进行空间变换，并构造第一重建图；

其中，所述远处区域将远处区域看作为一个无穷远的平面；

第二构造单元，用于利用基础矩阵进行空间变换，并构造第二重建图；

光度损失信息获取单元，用于通过两种像素对应关系求解出基于所述第一重建图的光度误差图和基于所述第二重建图的光度误差图，然后逐像素选取最小值，得到最终的光度损失信息。

7.根据权利要求5所述的结合时空增强光度损失的自监督单目深度估计装置，其特征在于，所述全向自动掩膜模块包括：

初始重建图生成单元，用于通过预训练网络预测目标帧的初始深度和初始位姿，并生成初始重建图；

二值化掩膜生成单元，用于将干扰项加到所述初始位姿上，并利用空间变换得到若干假设的重建帧；利用所述假设的重建帧，结合所述目标帧的光度，生成多个光度误差图，并利用所述多个光度误差图得到多个二值化掩膜

掩膜选取单元，用于从所述多个二值化掩膜中选取最小值作为最终的掩膜。

8.根据权利要求7所述的结合时空增强光度损失的自监督单目深度估计装置，其特征在于，所述干扰项为平移扰动项，包括：[t_max,0,0]、[-t_max,0,0]、[0,0,t_max]和[0,0,-t_max]，其中，t_max表示初始化的平移向量中的最大值。