[发明专利]一种基于局部注意力机制的3D-ReID多目标追踪方法

说明书

一种基于局部注意力机制的3D‑ReID多目标追踪方法，所述该方法包括如下步骤：1)点云预处理、2)点云主干网络特征提取、3)局部ReID特征提取分支、4)多任务学习、5)数据关联和运动预测，本发明使用了点云局部的ReID特征进行3D多目标追踪，在物体运动不确定性较大的情况和遮挡场景下仍能进行跨帧的多目标追踪，具有很强的鲁棒性。

技术领域

本发明涉及多目标检测与追踪，主要涉及一种基于局部注意力机制的3D-ReID多目标追踪方法，属于深度学习方法领域。

背景技术

跨境追踪技术(Person Re-Identification简称ReID)，主要解决跨摄像头跨场景下行人的识别与检索，最早起源于人脸识别技术。多目标跟踪(MOT)是在一段视频中同时跟踪多个目标，主要应用于安防监控和自动驾驶等场景。由于MOT需要进行前后帧物体的数据关联任务，引入ReID技术进行数据关联可以在遮挡或者物体运动不确定性很大的情况下仍能较好地进行多目标追踪，现有的多目标追踪技术大多基于视觉进行，因为图像具有很多强区分力的特征：如2D形状，颜色以及纹理特征等，视觉的ReID技术已经非常成熟。当前视觉MOT主要遵循“先检测后跟踪”的范式，某些工作采用基于多任务学习的方式将ReID分支嵌入到检测器中同时进行位置回归，物体分类及ReID特征提取任务，之后基于位置和特征相似性进行数据关联。而当前大多数3D多目标追踪工作主要基于视觉或者融合多模态信息进行3D多目标追踪，而基于点云ReID做多目标追踪的工作现阶段仍比较少，相比视觉，点云具有更多的3D形状信息，点云的空间分布以及丰富的距离信息，利用点云特有的性质做ReID可以在3D空间下实现更鲁棒的多目标追踪。

发明内容

为解决现有技术的不足，本发明旨在提出一种基于局部注意力机制的点云ReID多目标追踪的方法，通过对点云预处理后输入到神经网络中进行特征提取，之后基于物体回归的位置进行局部ReID特征提取，数据关联时采用多种相似性矩阵进行关联，实现对复杂场景下目标物体的精准识别与追踪。

为实现上述目的，本发明采用以下技术方案：一种基于局部注意力机制的3D-ReID多目标追踪方法，所述方法包括如下步骤：

1)点云预处理：由于点云具有无序的性质，无法直接输到卷积网络里进行处理，所以需要对点云进行预处理，本方法采用了体素或pillar的预处理方式，经体素或pillar编码后，点云具有了规整的结构，可以输入到卷积神经网络中进行特征提取。其中体素化方式是在点云的3D空间中划分网格对点进行量化，pillar方式是将点云划分成柱状体形式。

2)点云主干网络特征提取：经过预处理后的点云可以使用标准的3D卷积或point方式的网络进行处理，得到相应形式的featuremap，将3D形式的featuremap经变换得到2D形式的featuremap，之后使用2D卷积网络进行不同层次特征的处理和拼接，送入后面的多分支任务head中。

3)局部ReID特征提取分支：ReID特征提取分支基于detection预测得到物体BEV形式的Bbox生成l×l大小的采样网格点，之后基于采样网格点在C×C×W ReID特征图上进行双线性插值采样，得到物体的局部ReID特征：

其中γ是双线性插值采样的系数，f(i.j)是BEV形式的ReID特征图的具体特征值。在局部采样得到的特征图上应用通道注意力和空间注意力机制后得到每个物体的局部关键ReID特征值，之后经全连接层得到最终物体的ReID特征。因物体的ReID特征和物体自身的局部邻域特征最相关，经局部ReID特征采样后，ReID特征和物体自身的位置大小关联性更强，由于点云具有分布不均的特性，所以采样得到的特征值经过注意力机制后，会得到关键特征值点，这样某些有效的特征值对于重识别能力的贡献更高，最终输出的ReID特征将具有更强的判别能力。