[发明专利]3D定位来自真实世界图像中地标的系统和方法

说明书

一种系统，设置用以实施一种用于对来自现实世界的一系列图像中的至少一个地标进行三维定位方法，图像由连续运动的摄像机提供；其结合使用来自摄像机的图像信息和GPS信息，其中摄像机参数是未知的，且在自标定步骤中被估计；其中在后续步骤中，地标的定位是利用摄像机自运动和深度估计的两者之一来完成的。摄像机是单目摄像机。

技术领域

本发明涉及一种用于对来自现实世界的一系列图像中的至少一个地标进行三维定位的方法，所述图像由连续运动的摄像机提供，该方法结合使用来自所述摄像机的图像信息和GPS(全球定位系统Global Positioning System)信息。本发明还涉及一种配置为实施这种方法的系统。

背景技术

自动驾驶汽车(Autonomous vehicles)和驾驶辅助系统(driver assistancesystem)利用3D语义地标地图来做出改进的决策。然而，缩放地图构建过程和定期更新这种地图带来了巨大的花费。因此，有效利用众包视觉数据(crowd-sourced visual data)的能力对于大规模动态地图构建、自动驾驶和驾驶辅助系统等领域具有极大的潜力。用于众包3D地图构建的现有技术方法假设摄像机参数已知，但摄像机参数可能并不总是已知的，或者可能随着时间变化。

发明内容

本发明的目的在于，仅使用摄像机和GPS，估计语义意义上的地标(例如交通标志)的3D位置，而例如焦距和主点等摄像机参数是未知的，并且其中所述摄像机参数在自标定步骤中被估计，其中在后续步骤中，至少一个地标的定位是利用估计的摄像机自运动和深度估计两者之一完成的。

本发明尤其适用于其中摄像机是单目摄像机的方法和系统。

本发明通过使用GPS和具有未知标定参数的(单目)摄像机能够在汽车环境下进行3D交通标志定位，通过协同应用多视图几何(multi-view-geometry)和深度学习方法提高了整体的地图覆盖范围。

适合地，摄像机的自标定步骤涉及利用运动结构(structure from motion)技术推导摄像机的焦距和主点，该运动结构技术应用于在摄像机的连续运动过程中拍摄的图像序列。优选地，所述运动结构技术为Colmap。

当图像序列是在摄像机连续运动中的一次或多次转向时拍摄的，所述运动结构技术被有利地应用。

另一方面，摄像机的自标定步骤涉及利用深度学习技术推导摄像机的焦距和主点，优选使用野外视频自监督深度(Self-Supervised Depth From Videos in the Wild)来预测各连续图像对的摄像机参数。

适合地，图像序列中的图像的所有估计的“中位”值被应用为焦距和主点的估计值。

尤其当图像是在不存在转向的连续运动的情况下被拍摄时，应用所述深度学习技术是有利的。

优选地，估计摄像机自运动通过使用即时定位与地图构建(SimultaneousLocalization and Mapping,SLAM)技术执行，其中，通过设置slam技术为基于几何的具有环路闭合的单目ORB-SLAM，可以实现最佳结果。

当在图像序列中跟踪摄像机姿态成功时，优选地，基于自标定摄像机参数、计算并缩放的摄像机自运动轨迹以及图像中的地标，应用三角定位法计算地标的位置。

当在图像序列中跟踪摄像机姿态不成功时，优选地，基于自标定摄像机参数、计算并缩放的深度地图，以及图像中的地标，应用逆向投影法计算地标的位置。

为了提高地图的覆盖范围，需要将深度比例因子应用于深度地图，其中所述深度比例因子采用GPS信息推导。

有益地，执行深度估计和各图像的深度地图的生成，同时估计摄像机的自运动。