[发明专利]一种环视鱼眼多目标跟踪方法、装置、电子设备及介质

权利要求书

1.一种环视鱼眼多目标跟踪方法，其特征在于，所述方法包括：

基于多路鱼眼相机，获取若干图像，所述若干图像包括各路鱼眼相机拍摄的当前帧图像以及历史帧图像；

对所述当前帧图像以及所述历史帧图像进行特征提取，得到所述当前帧图像对应的第一特征图以及所述历史帧图像对应的第二特征图；

根据所述第一特征图以及所述第二特征图获取BEV合并特征；

根据所述BEV合并特征进行目标跟踪检测，得到所述若干图像中目标的跟踪检测结果。

2.根据权利要求1所述的方法，其特征在于，根据所述第一特征图以及所述第二特征图获取BEV合并特征，包括：

对所述第一特征图以及所述第二特征图分别进行体素变换，得到所述第一特征图对应的BEV特征以及所述第二特征图对应的BEV特征；

将所述第一特征图对应的BEV特征以及所述第二特征图对应的BEV特征进行合并，得到BEV合并特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一特征图以及所述第二特征图分别进行体素变换，得到第一特征图对应的BEV特征以及第二特征图对应的BEV特征，包括：

获取各路鱼眼相机的特征图，所述特征图为所述第一特征图或所述第二特征图；

基于主干神经网络，将所述各路鱼眼相机的特征图输入所述主干神经网络，通过所述主干神经网络输出所述各路鱼眼相机对应的多组特征；

将所述各路鱼眼相机对应的多组特征进行串联拼接，得到拼接特征；

利用卷积神经网络对所述拼接特征进行体素投影，得到体素特征；

将所述体素特征进行投影变换，得到投影变换后的第一BEV特征或第二BEV特征，所述第一BEV特征为第一特征图对应的BEV特征，所述第二BEV特征为第二特征图对应的BEV特征。

4.根据权利要求2或3所述的方法，其特征在于，所述将所述第一特征图对应的BEV特征以及所述第二特征图对应的BEV特征进行合并，得到BEV合并特征，包括：

获取所述多路鱼眼相机的定位信息；

基于所述多路鱼眼相机的定位信息，将所述第二特征图对应的BEV特征和第一特征图对应的BEV特征对齐到相同坐标系下，并串联拼接成当前时刻拼接BEV特征；

利用神经网络对所述当前时刻拼接BEV特征进行投影变换，生成BEV合并特征。

5.根据权利要求1所述的方法，其特征在于，所述根据所述BEV合并特征进行目标跟踪检测，得到所述若干图像中目标的跟踪检测结果，包括：

基于第一视觉Transformer网络构成的检测头，根据所述BEV合并特征进行目标检测，得到所述若干图像中目标的检测结果，所述目标的跟踪检测结果包括但不限于：热图、3D包围框、航向角和/或置信度。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述热图筛选出所述第一特征图对应的BEV特征中有目标中心的位置以及所述第二特征图对应的BEV特征中有目标中心的位置，得到筛选后的当前时刻BEV特征以及筛选后的历史时刻BEV特征；

基于第二视觉Transformer网络构成的跟踪头，计算所述筛选后的当前时刻BEV特征以所述筛选后的历史时刻BEV特征之间的相似度，得到所述目标的相似度矩阵；

根据所述目标的相似度矩阵进行二值匹配，得到所述当前帧图像与所述历史帧图像之间相互匹配的目标。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标的相似度矩阵进行二值匹配，得到所述当前帧图像与所述历史帧图像之间相互匹配的目标，包括：

从所述相似度矩阵中选取若干个元素，所述若干个元素的行列坐标均不重复，所述目标的相似度矩阵的元素A_ij表示当前帧图像第i个目标和历史帧图像第j个目标的相似程度；

获取所述若干个元素之和；

当所述若干个元素之和最大时，根据所述若干个元素得到所述当前帧图像与所述历史帧图像之间相互匹配的目标。