[发明专利]基于采样的自监督深度估计和位姿估计

说明书

本发明提供了一种相机位姿变化估计的方法。所述方法包括：使用第一相机(104、304)捕获场景(102、202)的第一图像(106)；根据所述第一图像(106)获得相对于所述第一相机(104、304)的深度图；使用第二相机(108、306)捕获所述场景(102、202)的第二图像(110)；根据所述第一图像(106)和所述第二图像(110)获得从第一相机位姿到第二相机位姿的位姿变化；根据所述位姿变化生成附加位姿变化集；获得重建图像集；将每个重建图像与所述第二图像(110)匹配；从所述位姿变化和对应于最佳匹配重建图像的所述附加位姿变化集中选择相机位姿变化估计。

技术领域

本发明大体上涉及映射和定位。更具体地说，本发明涉及一种相机位姿变化估计的方法。

背景技术

高级辅助驾驶系统或移动机器人等一些自治系统需要深度估计和位姿估计。深度估计和位姿估计是避障、路线规划、映射、定位、行人检测和人机交互等一些任务的主要内容。传统上，深度估计和位姿估计由高成本的主动传感系统(例如，光雷达(LightDetection and Ranging，LIDAR)传感器)或被动传感系统(例如，双目视觉或立体相机)执行。

现有技术实现的是深度估计方法，这种方法使用深度学习模型和/或监督学习模型。然而，由于深度估计是使用最先进的深度学习模型执行的，因此位姿估计和深度图估计并不准确。在监督学习模型中，高质量地计算地面真值深度和位姿估计是一个难点和关键点。例如，基于卷积神经网络(Convolutional Neural Network，CNN)的监督学习模型在不考虑地面真值深度的情况下估计深度和位姿。在动态真实场景下执行深度估计时，违背了监督学习模型的原理。

现有方法使用深度学习模型来估计图像1和图像2的位姿变化，并仅计算图像2的深度图。使用估计出的位姿变化和深度图，重建图像2，然后与原始图像2进行比较。在现有方法中，深度估计和位姿估计是独立执行的，并计算损失函数。根据原始图像2与其重建图像之间的图像相似性计算损失函数。这样可以评估位姿变化估计和深度图估计的正确性，因为深度估计和位姿估计是相互关联的，并且通常能够更好地估计对方。

因此，需要解决现有系统或技术在深度估计和位姿估计方面的上述技术缺点。

发明内容

本发明的一个目的是提供一种在动态真实场景下估计相机位姿的方法，以通过改进深度估计在自主系统中提供有效的映射和定位。

通过独立权利要求的特征来实现上述目标。进一步的实现方式在从属权利要求、说明书和附图中显而易见。

本发明提供了一种相机位姿变化估计的方法。

根据第一方面，提供了一种相机位姿变化估计的方法。所述方法包括使用第一相机捕获场景的第一图像。所述方法根据所述第一图像获得相对于所述第一相机的深度图。所述方法包括使用第二相机捕获所述场景的第二图像。所述方法包括根据所述第一图像和所述第二图像获得从第一相机位姿到第二相机位姿的位姿变化。所述方法包括根据所述位姿变化生成附加位姿变化集。所述方法包括使用所述第一图像、所述深度图、所述位姿变化和所述附加位姿变化集获得重建图像集。所述方法包括将每个重建图像与所述第二图像匹配。所述方法包括从所述位姿变化和对应于最佳匹配重建图像的所述附加位姿变化集中选择相机位姿变化估计。

所述方法提高了所述相机位姿变化估计和所述深度图估计的准确性。由于其采样性质，所述方法改进了相机位姿变化估计，从而进一步改进了深度图估计。所述方法通过实现所述相机位姿变化估计的采样方法，改进了所述相机位姿变化估计的训练过程和应用过程。这种采样方法使用神经网络(例如，深度学习模型)生成其它位姿变化，以改进所述相机位姿变化估计和所述深度图估计。所述相机位姿变化估计和所述深度图估计有助于机器人、高级辅助驾驶系统(advanced driver-assistance system，ADAS)、自动驾驶系统或自动化系统的映射和定位。