[发明专利]一种无监督位姿与深度计算方法及系统

说明书

本发明公开了一种无监督位姿与深度计算方法及系统，其中主要采用以下模块：位姿预测网络模型TNet、深度估计网络模型DMNet、视觉重建模型V和误差损失函数模块；计算前向运动相对位姿和后向运动相对位姿，计算图像的深度估计结果和图像对应深度，通过重建误差、平滑误差和孪生一致性误差求和得到损失函数，进行迭代更新，直到损失函数收敛，最后根据训练好的模型Tnet和模型DNet计算出相机相对位姿和预测深度图。

技术领域

本发明属于SLAM(Simultaneous Localization And Mapping)和SfM(Structurefrom Motion)领域，特别是一种无监督位姿与深度计算方法及系统。

背景技术

近年来,基于深度学习方法的单目稠密深度估计和视觉里程计VO(VisualOdometry)的算法发展迅速，它们也是SfM和SLAM系统的关键模块。已有研究表明，基于监督深度学习的VO和深度估计在许多具有挑战性的环境中都取得了良好的性能，并缓解了尺度漂移等性能下降问题。然而，在实际应用中要训练这些监督模型，获得足够的具有真实标记的数据是困难和昂贵的。相比之下，无监督的方法拥有只需要无标签的视频序列的巨大优势。

深度和姿态估计的深度无监督模型通常采用两个模块，其中一个模块预测深度图，另一个模块估计相机相对位姿。再使用估计的深度图和姿态将图像从源图像投影变换到目标图像后，利用光度误差损失作为优化目标，以端到端方式训练这些模型。然而现有的技术很少考虑到如下关键问题：VO的时序性，并且忽略了无人驾驶数据集只有单一运动方向的缺点，模型只能处理单方向的运动，没有利用前向后向的运动约束。现有模型没有考虑模型的复杂性，参数量大，很难适用于VO的实际应用场景。

发明内容

本发明的工作原理为：利用Twin位姿网络模型，利用ConvLSTM学习数据的时序信息，同时改进深度估计网络，提出DispMNet(Disparity Mobile Net)，使位姿和深度估计精度均达到较高的水平。

为了解决上述问题，本发明提出一种无监督绝对尺度计算方法及系统。

本发明所采用的技术方案是：

一种无监督位姿与深度计算方法，包含位姿网络模型TNet、深度网络模型DNet、图像视觉重建模型V和损失函数，包括以下步骤：

S1，预备单目视频数据集；

S2，从步骤S1中的单目视频数据集中抽取连续图像，将相邻图像依次输入位姿网络模型TNet，得到图像间共同的特征F，特征F输入位姿网络模型TNet，分别得到前向运动相对位姿和后向运动相对位姿；

S3，将步骤S2中的连续图像输入深度网络模型DNet，通过前向传播得到图像的深度估计结果和图像对应深度；

S4，将S2中的连续图像、前向运动相对位姿、后向运动相对位姿和图像对应深度，输入图像视觉重建模型V，得到扭曲图像；

S5，计算扭曲图像与S2中的连续图像间的重建误差，计算深度估计结果的平滑误差，计算孪生一致性误差；

S6，通过重建误差、平滑误差和孪生一致性误差求和得到损失函数，进行反向传播，进行迭代更新，直到损失函数收敛；

S7，进行预测，利用位姿网络模型Tnet和深度网络模型DNet，分别前向传播，计算出相机相对位姿和预测深度图。

采用全新的孪生模块，同时处理视频序列的前向和后向运动，同时在反转一致性约束下，利用时序一致性误差项，约束前向后向的运动，极大提高位姿估计准确性；采用基于MobileNet结构的DispMNet模型，减少了37％的参数量，同时提高了模型的深度估计准确率。

进一步的，所述步骤S5中扭曲图像与S2中的连续图像间重建误差Lreprojection的计算公式为：