[发明专利]基于协作图融合的协同目标检测方法及系统

说明书

本发明提供一种基于协作图融合的协同目标检测方法及系统，属于自动驾驶技术领域，获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。本发明从粗粒度和细粒度两个角度考虑局部特征的协同；通过传递局部特征，协同检测可以减缓计算资源的压力，更加精准地对中心车辆盲区进行协同，有效提升协同检测性能和检测精度的同时，减少了通信资源的开销。

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于协作图融合的协同目标检测方法及系统。

背景技术

目标检测是计算机视觉的一个基础任务，目的是识别空间内目标的位置和类别。根据预测目标的维度，目标检测方法可以分为2D目标检测和3D目标检测，自动驾驶领域需要的大都是3D目标检测。根据是否生成候选框，目标检测方法可以分为单阶段目标检测和两阶段目标。单阶段目标检测直接预测目标的位置和类别，特点是模型简单，耗时短，但是精度低；两阶段目标检测先生成一系列候选框并预测它们的置信度，再在这个候选框的基础上优化最后的位置，特点是模型更庞大，耗时长，但是精度高。

目标检测是自动驾驶视觉领域的一个重要研究方向，自动驾驶领域的车辆在自动驾驶场景又称为智能体。传统的目标检测都是基于车载传感器的单智能体目标检测。然而，由于目标被遮挡以及车载传感器自身的局限性，单车检测存在盲区，常常不能取得很好的检测结果。为了应对单车目标检测面临的挑战，协同目标检测应运而生。协同目标检测是一种基于多智能体信息融合的检测方法，它通过把多智能体协同模块插入传统的目标检测框架来实现。自动驾驶场景下，道路上有多个车辆，一个车辆的盲区可能正处于其他车辆的检测区域，通过把其他车辆观测到的目标信息传递给中心车辆，中心车辆可以得到更全面的视野，从而完成更精确的目标检测。协同目标检测过程中，每个车辆既可以是中心车辆，也可以是其他车辆的邻居车辆。

协同目标检测(Collaborative Object Detection)是自动驾驶领域的一个关键视觉技术，它指的是通过场景内的多个智能体的信息交流与数据融合，协助单个智能体完成更精确的目标检测任务，从而缓解自动驾驶场景中目标被遮挡、传感器捕获异常等问题。协同目标检测方法可以从协同阶段和融合策略两个角度讨论。协同阶段指在目标检测的哪个阶段插入协同模块，根据协同阶段的不同，协同目标检测方法可以分为数据级协同，特征级协同和决策级协同三类。其中数据级协同指融合车辆的原始观测数据，特征级协同指融合车辆的目标特征，决策级协同指融合车辆最终的检测数据。融合策略指协同模块的具体融合计算过程，可以分为简单融合，基于特征的融合和基于图的融合。简单融合采取求均值、最大值、拼接等策略，基于特征的融合选择了关联性最大的车辆，基于图的融合指把多车协同过程构造成一个图，通过图学习的过程融合多车的信息。

现有的基于图的协同目标检测方法主要有V2VNet和DiscoNet。V2VNet采取了一个空间感知的图神经网络(Graph Neural Network,GNN)完成多车信息融合。V2VNet首先补偿了不同车辆的传输时延，接着使用GNN把周边的车辆特征都聚集到中心车辆，并根据全局位置确定邻域范围的车辆。这种方法有效地扩大了车辆的视野，从而检测到被遮挡物体。DiscoNet同样采取了一个注意力图网络(Graph Attention Networks,GAT)实现多车的协同。与V2VNet不同，DiscoNet的融合图的边不是标量，而是一个矩阵，这个矩阵可以反映每个像素特征的贡献度。此外，DiscoNet引入一个教师-学生网络，教师网络是数据级协同目标检测，学生网络是特征级协同目标检测，使用教师网络的特征作为学生网络的监督，从而提升特征级协同目标检测的性能。