[发明专利]基于协作图融合的协同目标检测方法及系统

权利要求书

1.一种基于协作图融合的协同目标检测方法，其特征在于，包括：

获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；

基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；

基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；

基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。

2.根据权利要求1所述的基于协作图融合的协同目标检测方法，其特征在于，获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框，包括：

在自动驾驶场景中，对于每个车辆目标的点云数据，利用特征提取器提取三维的点云数据，转换成二维鸟瞰图特征，作为全局特征；

将每个车辆的二维的鸟瞰图输入3D区域生成网络，生成相应车辆的3D候选区域框；

得到车辆的候选区域框后，再经过3D的感兴趣区域池化层得到每个候选区域框的二维鸟瞰图特征，作为局部特征。

3.根据权利要求2所述的基于协作图融合的协同目标检测方法，其特征在于，每个3D候选区域框都有相应的分类置信度，分类置信度代表相应候选框属于每个类别以及背景类的概率，当候选区域框属于前景的概率小于预设的阈值，则该候选区域框属于当前车辆的检测盲区。

4.根据权利要求1所述的基于协作图融合的协同目标检测方法，其特征在于，基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征，包括：

选择中心车辆周围预设范围内的近邻车辆作为协同目标；对于中心车辆的每个候选区域框判断是否为盲区；得到中心车辆及其协同车辆的一系列候选区域框及其局部特征；

使用交并比选择可与中心车辆盲区协同的近邻车辆区域；对于中心车辆的每个盲区候选框，遍历近邻车辆的候选区域框，如果盲区候选框与近邻候选框的IOU大于阈值，则该近邻候选框与中心车辆的盲区候选框很大概率表示同一区域，两者的协同可以增强中心车辆对该区域的识别能力。

5.根据权利要求4所述的基于协作图融合的协同目标检测方法，其特征在于，对于中心车辆的每个候选区域框判断是否为盲区，包括：如果候选区域框的置信度分布差异明显，且在某类别的置信度大于预设的置信度阈值，说明该中心车辆可以明确检测到目标属于背景或者某个具体的类别，该候选框具有显著性；相反，如果候选区域框的置信度小于预设的阈值，车辆无法判断目标所属类别，则该候选框所处区域为中心车辆的盲区，是中心车辆所需协同的区域，加入中心车辆的盲区集合。

6.根据权利要求1所述的基于协作图融合的系统目标检测方法，其特征在于，基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征，包括：

使用基于注意力图的方式融合局部特征；遍历中心车辆的每个盲区候选框，为候选框及其近邻协同框构建注意力图，并更新该盲区候选框的局部特征；为盲区候选框及其近邻协同框构建注意力图，其中图的结点是盲区候选框和协同近邻候选框的BEV局部特征，方向为每个协同近邻候选框指向盲区候选框，以及盲区候选框指向自己；得到每条边的权重后，使用聚合函数更新中心车辆的盲区的局部特征。

7.一种基于协作图融合的协同目标检测系统，其特征在于，包括：

获取模块，用于获取待检测目标的点云数据，生成二维鸟瞰图和候选区域框；

筛选模块，用于基于粗粒度的方法选取候选区域框中心车辆的检测盲区，根据检测盲区筛选近邻车辆的二维鸟瞰图局部特征；

协作模块，用于基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合，得到中心车辆新的协作特征；

检测模块，用于基于中心车辆新的协作特征，对每个候选区域做分类和回归预测，经过阈值筛选，得到最终的检测结果。