[发明专利]一种环视鱼眼多目标跟踪方法、装置、电子设备及介质

说明书

本发明公开了一种环视鱼眼多目标跟踪方法、装置、电子设备及介质，包括基于多路鱼眼相机，获取若干图像；然后对当前帧图像以及历史帧图像进行特征提取，得到当前帧图像对应的第一特征图以及历史帧图像对应的第二特征图；再根据第一特征图以及第二特征图获取BEV合并特征；最后根据BEV合并特征进行目标跟踪检测，得到若干图像中目标的跟踪检测结果。本申请有效地提升了多目标检测准确度的同时，提高了多目标检测效率，鲁棒性好。

技术领域

本发明主要涉及自动驾驶技术领域，特别涉及一种环视鱼眼多目标跟踪方法、装置、电子设备及介质。

背景技术

多目标跟踪MOT(Multiple Object Tracking)，指在事先不知道目标数量的情况下，对视频中的行人、汽车、动物等多个目标进行检测并赋予ID进行轨迹跟踪，不同的目标拥有不同的ID，以便实现后续的轨迹预测、精准查找等工作。多目标跟踪(Multiple ObjectTracking，MOT)广泛应用于视频监控、人机交互、虚拟现实、智能交通、医学图像等领域。近年来，得益于移动机器人和自动驾驶的快速发展，视觉多目标跟踪取得了重大进展。但目前的多目标检测方法，强依赖于检测器的性能表现，在准确性和效率方面结果难以达到最优。

发明内容

本申请的目的在于提供一种环视鱼眼多目标跟踪方法、装置、电子设备及介质，有效地提升了多目标检测准确度的同时，提高了多目标检测效率。

第一方面，本申请提供一种环视鱼眼多目标跟踪方法，包括：基于多路鱼眼相机，获取若干图像，若干图像包括各路鱼眼相机拍摄的当前帧图像以及历史帧图像；对当前帧图像以及历史帧图像进行特征提取，得到当前帧图像对应的第一特征图以及历史帧图像对应的第二特征图；根据第一特征图以及第二特征图获取BEV合并特征；根据BEV合并特征进行目标跟踪检测，得到若干图像中目标的跟踪检测结果。

在第一方面的一种实现方式中，根据第一特征图以及第二特征图获取BEV合并特征，包括：对第一特征图以及第二特征图分别进行体素变换，得到第一特征图对应的BEV特征以及第二特征图对应的BEV特征；将第一特征图对应的BEV特征以及第二特征图对应的BEV特征进行合并，得到BEV合并特征。

在第一方面的一种实现方式中，对第一特征图以及第二特征图分别进行体素变换，得到第一特征图对应的BEV特征以及第二特征图对应的BEV特征，包括：获取各路鱼眼相机的特征图，特征图为第一特征图或第二特征图；基于主干神经网络，将各路鱼眼相机的特征图输入主干神经网络，通过主干神经网络输出各路鱼眼相机对应的多组特征；将各路鱼眼相机对应的多组特征进行串联拼接，得到拼接特征；利用卷积神经网络对拼接特征进行体素投影，得到体素特征；将体素特征进行投影变换，得到投影变换后的第一BEV特征或第二BEV特征，第一BEV特征为第一特征图对应的BEV特征，第二BEV特征为第二特征图对应的BEV特征。

在第一方面的一种实现方式中，将第一特征图对应的BEV特征以及第二特征图对应的BEV特征进行合并，得到BEV合并特征，包括：获取多路鱼眼相机的定位信息；基于多路鱼眼相机的定位信息，将第二特征图对应的BEV特征和第一特征图对应的BEV特征对齐到相同坐标系下，并串联拼接成当前时刻拼接BEV特征；利用神经网络对当前时刻拼接BEV特征进行投影变换，生成BEV合并特征。

在第一方面的一种实现方式中，根据BEV合并特征进行目标跟踪检测，得到若干图像中目标的跟踪检测结果，包括：基于第一视觉Transformer网络构成的检测头，根据BEV合并特征进行目标检测，得到若干图像中目标的检测结果，目标的跟踪检测结果包括但不限于：热图、3D包围框、航向角和/或置信度。