[发明专利]构造3D特征图的组优化深度信息方法和系统

说明书

公开了一种构造3D特征图的组优化方法。在一个实施例中，所述方法包括确定存在各自环境特征的图像组中每个图像的多个环境特征的对应关系信息，以及每个摄像头(310)的相对位置和校准。基于所述环境特征(312)的所述对应关系信息，确定存在各自环境特征的所述图像组中每个图像所述多个环境特征中每个环境特征的深度信息。使用确定的每个各自环境特征(314)的深度信息，确定所述多个环境特征中每个环境特征的组优化深度信息。

相关申请案交叉申请

本申请要求于2018年2月8日提交的申请号为15/891,951、发明名称为“构造3D特征图的组优化深度信息方法和系统”的美国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种构造3D特征图的组优化深度信息方法和系统。

背景技术

车辆驾驶员辅助系统能够提高驾驶员的意识和安全性，自主车辆能够提高驾驶员的安全性和便捷性。自主停车和驾驶是自主车辆的重要方面。然而，与自主车辆的其它方面一样，自主停车和驾驶等自主操作仍然是一个发展领域，自主停车和驾驶仍然有待改进。

计算机视觉系统是车辆驾驶员辅助系统和自主车辆的重要组成部分。一种计算机视觉系统是立体计算机视觉系统，包括前置立体摄像头，该立体摄像头由两个镜头组成，每个镜头具有单独的图像传感器帧，每个镜头指向车辆的前方。立体计算机视觉系统的缺点在于，即使使用了广角镜头，只有车辆侧视图中的一部分能被立体摄像头捕捉，车辆的后视图根本不被立体摄像头捕捉。尽管一些车辆驾驶员辅助系统和自主车辆中可能存在侧面摄像头和后置摄像头，但是来自这些摄像头的视图通常不与前置立体摄像头的视图相结合，并且不是用于导航(例如，停车和驾驶)的计算机视觉系统的一部分。相反，侧面摄像头和后置摄像头用于其它目的，例如定位、车道偏离检测、避免碰撞或其它功能。

另一种计算机视觉系统是一种全景视觉系统，包括旋转转盘上的一个单目摄像头或一个全方位摄像头。全景视觉系统的缺点在于，采集的图像具有与凸镜类似的非线性高度失真。通常，距离拍摄图像中心最远的对象失真最严重，而距离拍摄图像中心最近的对象失真最轻微。当补偿这种图像失真时，由于高压缩等级，采集图像中心可用的图像数据较少，导致图像失真补偿不均和校正图像中心周围精确度很低。

出于上述和其它原因，亟需对计算机视觉系统进行改进以及现有方案的替代方案。

发明内容

本发明提供了一种构造3D特征图的组优化深度信息的方法和系统。具有至少一部分公共观测区的多个分布式摄像头组成感官网络，感官网络可用于确定每个摄像头环境特征的深度信息。为不同摄像头视角的多个环境特征确定的所述深度信息后续通过组优化一起计算。通过结合所述组优化深度信息，可以生成更精确的3D特征图。通过结合特征深度计算中所有分布式摄像头的测量，所述改进3D特征图提供了更高的测量精确度，从而可以提高后续操作的准确性和鲁棒性，所述后续操作包括但不限于车辆定位，路径规划，以及对象识别和追踪。本发明的所述方法可以有广泛的应用，比如追踪局部模糊的对象，高精度定位目标，等等。

根据本发明的一个方面，提供了一种生成三维(three-dimensional，简称3D)特征图的方法。所述方法包括：基于多个摄像头中的每个摄像头的相对位置和校准，确定存在各自环境特征的图像组中每个图像的多个环境特征的对应关系信息。基于所述环境特征的所述对应关系信息，确定存在各自环境特征的所述图像组中每个图像的所述多个环境特征中每个环境特征的深度信息。使用确定的每个各自环境特征的深度信息，确定所述多个环境特征中每个环境特征的组优化深度信息。

在一些示例中，所述方法还包括从所述多个摄像头采集的图像中选择图像组，所述图像组包括所述多个摄像头中每个摄像头的一个捕获图像，所述图像组在同一时间捕获。

在一些示例中，所述方法还包括基于所述各自摄像头的内在参数对所述图像组中每个图像进行图像失真补偿。