[发明专利]一种统一时空融合的环视鸟瞰图感知方法

说明书

本发明公开了一种统一时空融合的环视鸟瞰图感知方法，用于自动驾驶系统中的视觉感知。具体包括如下步骤：获取用于训练神经网络的图像数据集，定义算法目标；建立虚拟视角模型；基础骨干网络环视图像特征提取；建立时序特征队列；统一的时空融合建模融合特征；头部网络输出预测结果。本发明相比于现有技术中的其他感知模型，能够有效地同时融合环视图像的空间关系，同时能够融合不同时刻环视图像的时序关系，通过更好地融合不同时序步取得了更好的感知效果和更快的感知速度。

技术领域

本发明属于图像处理领域，具体涉及一种统一时空融合的环视鸟瞰图感知方法。

背景技术

近些年来，基于鸟瞰图(bird’s-eye-view,BEV)的自动驾驶环视感知系统逐渐成为主流的感知范式。基于鸟瞰图的感知表达其核心意涵为将采集到的环视图像映射到基于当前自身车辆位置的鸟瞰图BEV空间中。这种空间融合方式能够组成一个统一的鸟瞰图BEV空间，并且能够极大地减少环视多摄像头融合时的难度。除此之外，这种鸟瞰图BEV空间融合天然地与其他感知模态，如激光雷达等，具有一致的3D空间位置，从而简便了视觉系统与激光雷达系统的融合。因此，基于鸟瞰图的自动驾驶环视感知系统具有统一的，便于其他模态处理的表达能力。然而，面对自动驾驶过程中长时间、长时序下的环视图像，如何实现环视鸟瞰图感知，是目前亟待解决的技术问题之一。

发明内容

本发明的目的在于解决现有技术中自动驾驶过程中长时间、长时序下的环视图像难以高效融合进而导致感知效果不佳的问题，并提供一种统一时空融合的环视鸟瞰图感知方法。

为实现上述目的，本发明所采用的具体技术方案如下：

一种统一时空融合的环视鸟瞰图感知方法，其包括以下步骤：

S1、建立用于将摄像头空间变换到BEV空间的虚拟视角模型；

S2、构建用于从环视图像组内的单张环视图像中提取多层次特征的基础骨干网络；

S3、基于S2构建的骨干网络特征对输入的不同时刻的环视图像进行逐帧特征提取，并按照时刻对提取的特征进行排序，建立时序特征队列；

S4、基于S1中构建的虚拟视角模型与S3中建立的时序特征队列，通过统一时空融合特征融合器建模得到融合特征；

S5、基于S4得到的融合特征使用头部网络输出预测结果，得到用于自动驾驶的周围环境感知。

作为优选，所述基础骨干网络、统一时空融合特征融合器和头部网络组成的环视鸟瞰图感知网络框架，预先经过用于环视鸟瞰图感知的图像数据集进行训练，图像数据集中的环视图像样本由多方向摄像头采集的环视图像、各摄像头对应的相机内外参信息和各图像对应的标注信息组成。

作为优选，所述用于环视鸟瞰图感知的图像数据集包括图像组其中I_i为第i组环视图像，每组环视图像包含N张分别由不同方向摄像头拍摄的图像，N为车辆上朝向不同方向的摄像头总数；Info_i为第i组环视图像所对应的相机内外参信息，包含旋转矩阵和平移矩阵；T_i为第i组环视图像整组对应的真实3D世界标注信息，包括以该组环视图像为中心的地图信息，和/或以该组环视图像为中心的周围世界3D车辆的标注信息；M为图像数据集中的环视图像组数。

作为优选，步骤S1中，建立虚拟视角模型的方法如下：