[发明专利]一种统一时空融合的环视鸟瞰图感知方法

权利要求书

1.一种统一时空融合的环视鸟瞰图感知方法，其特征在于，包括以下步骤：

S1、建立用于将摄像头空间变换到鸟瞰图空间的虚拟视角模型；

S2、构建用于从环视图像组内的单张环视图像中提取多层次特征的基础骨干网络；

S3、基于S2构建的骨干网络特征对输入的不同时刻的环视图像进行逐帧特征提取，并按照时刻对提取的特征进行排序，建立时序特征队列；

S4、基于S1中构建的虚拟视角模型与S3中建立的时序特征队列，通过统一时空融合特征融合器建模得到融合特征；

S5、基于S4得到的融合特征使用头部网络输出预测结果，得到用于自动驾驶的周围环境感知。

2.如权利要求1所述的统一时空融合的环视鸟瞰图感知方法，其特征在于，所述基础骨干网络、统一时空融合特征融合器和头部网络组成的环视鸟瞰图感知网络框架，预先经过用于环视鸟瞰图感知的图像数据集进行训练，图像数据集中的环视图像样本由多方向摄像头采集的环视图像、各摄像头对应的相机内外参信息和各图像对应的标注信息组成。

3.如权利要求2所述的统一时空融合的环视鸟瞰图感知方法，其特征在于，所述用于环视鸟瞰图感知的图像数据集包括图像组其中I_i为第i组环视图像，每组环视图像包含N张分别由不同方向摄像头拍摄的图像，N为车辆上朝向不同方向的摄像头总数；Info_i为第i组环视图像所对应的相机内外参信息，包含旋转矩阵和平移矩阵；T_i为第i组环视图像整组对应的真实3D世界标注信息，包括以该组环视图像为中心的地图信息，和/或以该组环视图像为中心的周围世界3D车辆的标注信息；M为图像数据集中的环视图像组数。

4.如权利要求1所述的统一时空融合的环视鸟瞰图感知方法，其特征在于，步骤S1中，建立虚拟视角模型的方法如下：

S11、对于每组环视图像I_i所对应的相机内外参信息Info_i，定义其包含的旋转矩阵为平移矩阵为对于旋转矩阵R，定义R_c为当前时刻的旋转矩阵，R_p为过去时刻的旋转矩阵，R_i,j为第i组环视图像中第j张图像对应的摄像头采用的旋转矩阵，i∈{1,…,M}，j∈{1,…,N}；对于平移矩阵t，定义t_c为当前时刻的平移矩阵，t_p为过去时刻的平移矩阵，t_i,j为第i组环视图像中第j张图像对应的摄像头采用的平移矩阵；

S12、定义如下虚拟视角模型变换：

其中为第i组环视图像中第j张图像对应的摄像头的虚拟旋转矩阵，为第i组环视图像中第j张图像对应的摄像头的虚拟平移矩阵；

S13、对于S12中得到的虚拟视角模型变换，按照如下公式建立用于将摄像头空间变换到鸟瞰图空间的虚拟视角模型：

其中P_bev为鸟瞰图空间中的坐标点，P_img为图像空间中的坐标点，K_i,j为第i组环视图像中第j张图像对应的摄像头的相机内参。

5.如权利要求4所述的统一时空融合的环视鸟瞰图感知方法，其特征在于，所述步骤S2中，构建的基础骨干网络如下：

选择ResNet、Swin-Tiny、VoVNet中的一种作为骨干网络，对于所有输入的环视图像均使用同一个选定的骨干网络进行特征提取，使不同摄像头拍摄的图像之间共享骨干网络；对于层次数目为L的骨干网络，在提取多层次特征时，需对骨干网络每一个层(stage)提取的特征均进行保留，最终得到L个层次的多层次特征。

6.如权利要求5所述的统一时空融合的环视鸟瞰图感知方法，其特征在于，所述步骤S3中，建立时序特征队列方法如下：

将不同时刻的环视图像组输入所述骨干网络中，由骨干网络逐帧提取单帧多层次特征，并按照图像采集的时间顺序将多层次特征保存在时序特征队列中。