[发明专利]一种将3D点云检测中稀疏模态稠密化的方法

权利要求书

1.一种将3D点云检测中稀疏模态稠密化的方法，其特征在于，所述方法包括如下内容：本方法采用Sparse2Dense框架，所述Sparse2Dense框架包括一个稠密点云三维检测器和一个稀疏点云三维检测器，其中稠密点云三维检测器将稠密点云作为输入，稀疏点云三维检测器将稀疏点云作为输入；

步骤S1，预处理原始的点云序列生成稠密点云，并以稠密点云为输入，训练稠密点云三维检测器；

步骤S2，以稠密点云三维检测器的特征迁移并嵌入到稀疏点云三维检测器作为监督信号，训练稀疏点云三维检测器。

2.根据权利要求1所述的一种将3D点云检测中稀疏模态稠密化的方法，其特征在于，所述步骤S1的稠密点云生成方法如下：

首先，对于每个被标注的物体，将其边界框内的点从多帧中融合起来，然后过滤掉离群点；

对融合后的物体点进行体素化，并得到一个体素网格，其粒度为0.1m,0.1m,0.15m；即按照物体点数量的降序对框架进行排序，然后，用物体点填充体素网格，从排序后的帧开始，直到95％以上的体素被填充，其中，当一个体素中的点的数量达到5个时，停止填充该体素，或者该体素已经被以前的帧填充，以获得足够的点进行训练；

对于车辆类别，其形状通常是对称的，将每个物体较密集的一面围绕其轴向平面进行翻转和复制，以进一步提高其密度。

3.根据权利要求2所述的一种将3D点云检测中稀疏模态稠密化的方法，其特征在于，在本方法中所述Sparse2Dense框架还包括一个S2D模块，用于进行稠密特征蒸馏，其详细步骤如下：

首先投影稀疏的三维特征到获得鸟瞰图BEV特征

然后，通过使用跨度为2的卷积层，将特征图下采样为输入稀疏特征的1/4大小；

接着嵌入了三个ConvNeXt残差块来聚合物体信息；其中每个块包含一个7×7的深度卷积，然后是一个归一化层，一个带有GELU的1×1卷积，以及一个1×1卷积；

接下来，通过二维转置卷积对特征进行升采样，并将结果与之前的特征串联起来；

之后，串联的特征送入一个3×3的卷积层，并对特征进行升采样，得到最终的变性特征在本步骤中除了ConvNeXt块中的卷积外，每个卷积层后都有一个批量归一化和一个GELU非线性操；

接着将和分别送入一个1×1的卷积层，并将它们加在一起作为最终的输出特征

4.根据权利要求3所述的一种将3D点云检测中稀疏模态稠密化的方法，其特征在于，在本方法中所述S2D模块采用两种方式监督：第一种是对稠密点云三维检测器网络中的高维特征的监督，即通过和进行监督，其中和分别是在有背景信息和无背景信息的密集点云上获得的特征；第二种是通过点云重建网络监督，首先预测一个体素掩码，表示体素非空的概率，接着进一步预测每个非空体素的点偏移量P_offset，即从体素中心V_c到这个体素的平均输入点的偏移量。

5.根据权利要求4所述的一种将3D点云检测中稀疏模态稠密化的方法，其特征在于，本中所述Sparse2Dense框架还包括云重建网络模块用于进行点云网络重建监督，其监督方法内容如下：

被密集化的特征被投影回三维视图，并被送入两个三维卷积层和一个转置的三维卷积层，以将原始输入的尺度提高到1/4；

然后，用一个1×1的三维卷积与sigmoid函数预测体素掩码V_mask，用一个1×1的三维卷积预测点偏移P偏移；

接下来，重复同样的步骤，进一步预测二分之一尺度的体素掩码V_mask和点偏移量P_offset；

最终重建的点云P_c可被预测为：

P_c＝P_offset+V_c×V_mask

优化P_c来使其重建成体素化的稠密物体点云

6.根据权利要求5所述的一种将3D点云检测中稀疏模态稠密化的方法，其特征在于，本方法使用的训练公式内容如下：其中本方法Sparse2Dense框架有两个训练阶段，其中第一阶段对应步骤S1，第二阶段对应步骤S2，在第一阶段中训练使用的损失函数如下

其中第一阶段损失函数做为回归损失函数对于基于中点的方法,热图损失函数为焦点损失函数的变体，而基于锚点的方法，分类损失函数为焦点损失函数，基于不同的方法来使用或是

第二个阶段，训练稀疏点云三维检测器用以下的损失函数：

其中是为了优化S2D模块的损失函数；和是为了优化PCR模块的损失函数；是与一样的损失函数，但输入是稠密点云三维检测器和稀疏点云三维检测器预测的热力图，它是一个MSE损失函数，并用掩码来表示特征图中的空和非空元素：

其中N和分别是特征非零和零值元素的总数，而M和分别是特征非零和零值元素的总数，将β和γ设成10和20来平衡非零和为零的特征，和为：

其中N_b和N_f分别是背景体素和前景体素的总数，p_j和y_j分别是预测的体素掩码值和体素掩码真值；j索引V_mask中的体素。