[发明专利]一种鲁棒的自监督学习单帧图像深度估计方法

说明书

本发明提供了一种鲁棒的自监督学习单帧图像深度估计方法，首先生成单帧深度及帧间相对运动数据，然后依次计算光照鲁棒性损失函数、相对运动区域掩膜和环路一致性损失，最终得到网络最终损失函数。本发明能够有效提升自监督学习的深度估计方法在复杂场景下的鲁棒性以及学习能力，从而使得方法可以更好适应真实世界中光照变化剧烈、物体运动复杂的场景中，具有很强的应用价值。

技术领域

本发明涉及一种图像深度估计方法，特别是一种自监督单帧图像深度估计方法。

背景技术

基于自监督学习深度估计方法突破了基于深度学习的一般方法需要带标签数据的限制，具有重要的研究意义。文献“Godard C,Mac Aodha O,Firman M,et al.Digginginto self-supervised monocular depth estimation[C]//Proceedings of the IEEEinternational conference on computer vision.2019:3828-3838.”提出了一种基于自监督估计的深度估计方法，利用帧间残差函数最小值来处理自监督学习中场景的遮挡；并提出基于损失值的二元掩膜降低相对静止场景带来的监督信号偏差；最后采用多层级深度图升采样的方式提升多层级自监督效果。该方法有效提升了自监督估计的精度。然而，自监督深度估计方法利用图像损失函数作为监督信号，这要求相邻帧之间图像亮度稳定，且图像中不能存在相对运动的物体，如汽车、行人等。而在真实场景中，这两种要求往往难以直接满足，使得深度估计网络训练情况容易受到训练集中序列图像光照变化、物体相对运动的影响；同时，主流的自监督深度估计方法往往只利用了序列图像中相邻两帧之间的几何相关关系，而多帧帧间相关关系挖掘不足，这都阻碍了了深度估计性能的进一步提升。因此，文献所采用的方法在处理真实场景情况下的鲁棒性有所不足。文献采用图像像素值差异作为直接监督信号，未能考虑自然场景中帧间存在光照变化时对模型训练产生的影响；同时，方法提出的二元掩膜未能全面解决场景中存在的不同速运动物体导致的训练误差增大的现象；最后，包括文献方法在内的自监督学习深度估计方法未能有效挖掘多帧之间的相关信息，序列相关信息的缺乏应用限制了相关方法性能的进一步提升。

发明内容

为了克服现有技术的不足，本发明提供一种基于鲁棒约束的自监督单帧图像深度估计方法，采用一系列鲁棒的自监督深度估计损失函数，消除帧间光照变化、场景包含相对运动区域以及多帧相关关系挖掘不足对自监督深度估计造成的不利影响，采用本方法获取的场景深度信息在权威评估数据集上达到了当时最优的效果。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一，在序列图像中截取相邻的三帧图像(I_t-1,I_t,I_t+1)作为一个训练样本，依次截取序列图像中所有相邻三帧图像组成训练样本集，其中，设I_t为目标图像，设I_t′∈(I_t-1,I_t+1)为两帧源图像；将I_t输入到深度估计网络f_D中获取深度图并将两个图像对(I_t,I_t′)分别输入到运动估计网络f_M中，获取两对帧间运动参数(R_t→t′,t_t→t′)，其中R_t→t′和t_t→t′分别为目标图像到源图像视角位姿变化的3*3旋转矩阵以及3*1的相对平移向量；