[发明专利]结合时空增强光度损失的自监督单目深度估计方法和装置

说明书

本发明涉及一种结合时空增强光度损失的自监督单目深度估计方法和装置，其中，方法包括：获取图像序列中相邻的若干帧图像；将所述图像输入至训练好的深度学习网络中得到深度信息和位姿信息，其中，所述深度学习网络的光度损失信息基于深度感知像素对应关系的空间变换模型得到，并利用全向自动掩膜来避免运动物体的像素参与光度误差的计算。本发明能够提高光度损失的准确性，进而更好的监督深度网络的学习。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种结合时空增强光度损失的自监督单目深度估计方法和装置。

背景技术

从图像中估计场景的深度信息，即图像深度估计，是目前计算机视觉中的一个基础而又十分重要的任务。良好的图像深度估计算法可以应用于室外驾驶场景以及室内的小型机器人等领域，具有巨大的应用价值。机器人或者自动驾驶的汽车在进行工作过程中，利用深度估计算法得到场景深度信息辅助机器人进行下一步运动的路径规划或避障。

利用图像的深度估计分为有监督和自监督的方法。有监督的方法主要利用神经网络建立图像和深度图之间的映射，在真值的监督下进行训练，使得网络逐渐具备拟合出深度的能力。然而由于有监督方法真值代价较高，自监督的方法在近些年逐渐变为主流。相较于需要双目图像对进行训练的方法，基于序列图像的方法因其适用范围更广成为被研究人员广泛关注的方法。

基于序列图像的自监督单目深度框架主要包括一个深度估计网络和一个位姿估计网络，分别预测目标帧的深度，目标帧和源帧的位姿变换。结合估计的深度和位姿，可以将源帧变换到目标帧的坐标系得到重建图像，利用目标帧和重建图像光度上的差别也就是光度损失就可以监督两个网络同时训练。随着光度损失的下降，网络估计的深度就逐渐准确。

光度损失生成时需要采用空间变换模型，现有空间变换模型虽然符合理论上刚体变换的方法，但是由于在计算过程中位姿中的平移向量的误差会带来一定的深度估计误差，也就是说，深度越大，深度估计的误差也就越大。另外，为了解决图像中违背光度一致性的运动像素所造成光度损失不准确的问题，现有方式的主要思路是找到在训练过程中过滤掉从一帧到另一帧中光度未变小的像素，生成的二值化掩膜，但是该二值化掩膜只能判别出与相机运动方向相同的物体。

发明内容

本发明的发明人发现，造成深度越大，深度估计的误差也就越大的原因如下：空间变换的目的是为了经过空间变换后使得目标帧和源帧中的对应像素在像素平面上重合，假如利用近处的点P_N来求解对应像素p_t和p_s的对应关系，如图1所示。自监督深度估计的原理是通过最小化p_t和p_s的光度误差以使得估计的位姿和深度更准。对于近处区域，如图1 所示，在一定数量点的情况下，只有当p_t和变换后的点p_F较为重合时，估计的位姿才可以更准确，深度性能更好。而对于远处区域，如图2所示，只需要预测的旋转矩阵准确即可保证p_t和p_s的光度误差变小，因此如果不区分远近而利用估计的旋转矩阵和平移向量构造光度误差，光度误差不确定度会大大增加，从而造成深度估计的结果变差。

本发明所要解决的技术问题是提供一种结合时空增强光度损失的自监督单目深度估计方法和装置，能够提高光度损失的准确性，进而更好的监督深度网络的学习。

本发明解决其技术问题所采用的技术方案是：提供一种结合时空增强光度损失的自监督单目深度估计方法，包括以下步骤：

获取图像序列中相邻的若干帧图像；

将所述图像输入至训练好的深度学习网络中得到深度信息和位姿信息，其中，所述深度学习网络的光度损失信息基于深度感知像素对应关系的空间变换模型得到，并利用全向自动掩膜来避免运动物体的像素参与光度误差的计算。

所述光度损失信息基于深度感知像素对应的空间变换模型得到具体为：