[发明专利]一种多目标检测和空间定位方法及其系统

权利要求书

1.一种多目标检测和空间定位方法，其特征在于，所述方法包括：

获取深度相机的RGB图像和深度图像，并根据RGB图像和深度图像对深度相机进行标定；

构建轻量级one-stage目标检测模型，将所述RGB图像和深度图像输入到训练好的所述one-stage目标检测模型，获取目标检测结果；

对目标检测结果进行轮廓提取，获取目标的轮廓数据；

根据所述目标检测结果转换到深度相机的坐标系中，生成深度相机下的目标定位结果。

2.根据权利要求1所述的一种多目标检测和空间定位方法，其特征在于，所述one-stage目标检测模型包括Backbone网络、Neck网络、Head网络，其中在所述Backbone网络中采用轻量级神经网络ShuffleNetV2作为骨干网络，用于构建所述轻量级one-stage目标检测模型。

3.根据权利要求2所述的一种多目标检测和空间定位方法，其特征在于，在所述Neck网络中采用Backbone网络中的8、16、32倍的采样特征，并将所述8、16、32倍的采样特征输入到PAN网络中进行上采样多尺度融合。

4.根据权利要求2所述的一种多目标检测和空间定位方法，其特征在于，在所述Backbone网络中采用五层卷积，并在Head网络中输出Box和Class，其中所述五层卷积包括：

Depthwise convolution weight[88*1*3*3]bias[88]；

Convolution weight[88*88*1*1]bias[88]；

Depthwise convolution weight[88*1*3*3]bias[88]；

Convolution weight[88*88*1*1]bias[88]；

Depthwise convolution weight[112*88*1*1]bias[88]。

5.根据权利要求1所述的一种多目标检测和空间定位方法，其特征在于，所述one-stage目标检测模型采用的激活函数为：Batch Normalization，其中所述激活函数公式为：

其中x^(k)表示特征向量值，E表示均值，Var表示方差。

6.根据权利要求1所述的一种多目标检测和空间定位方法，其特征在于，所述one-stage目标检测模型采用的损失函数为：Generalized Focal Loss，所述损失函数的公式为：

QFL(σ)＝-|y-σ|^β((1-y)log(1-σ)+ylog(σ))；

其中σ为预测值，y为取值在0-1之间的质量标签，β为相关系数；

在目标检测过程中还包括：对检测目标进行定位，获取检测目标的置信度，并设置置信度阈值，若检测目标的置信度小于所述置信度阈值，则删除对应的检测目标。

7.根据权利要求1所述的一种多目标检测和空间定位方法，其特征在于，所述深度轮廓的提取方法包括：

获取RGB图像中目标的尺寸，删除目标尺寸外的深度信息图；

将目标尺寸内的深度信息进行切分，设置深度占比面积阈值；

若切分的深度信息图小于所述深度占比面积阈值，则放入深度图元素集中，否则进一步切分深度信息图；

计算目标的深度图元素集的平均值，并计目标的深度图元素集中的多个元素方差，且获取方差最小的切片，并将设置平均深度阈值，将平均值小于所述平均深度阈值的深度图元素集平均值赋值为深度图的平均值。