[发明专利]基于自适应与多级特征降维的点云3D检测方法与模型

权利要求书

1.一种基于自适应与多级特征降维的点云3D检测方法，其特征在于，包括：

获取实时点云数据帧并进行点云体素化，得到初始体素特征及其体素坐标；

对所述初始体素特征进行稀疏化，得到稀疏体素特征；

对所述稀疏体素特征进行自适应动态特征降维，得到初始BEV特征，并对所述初始BEV特征进行多尺度BEV特征提取，获得包含语义特征的多尺度BEV特征；

对所述稀疏体素特征进行多尺度体素特征提取，获得包含几何特征的多尺度体素特征，并对每个尺度上的体素特征进行降维，然后与对应尺度上的BEV特征进行融合；

利用最后一层融合的BEV特征进行3D检测，估计目标物体在BEV空间的位置。

2.如权利要求1所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，对所述稀疏体素特征进行自适应动态特征降维的步骤包括：

对所述稀疏体素特征沿高度维度估计特征空间分布，该估计的特征空间分布用于表征沿高度维度物体特征的重要性权重；

根据所述估计的特征空间分布对沿高度维度物体特征进行重加权，得到所述初始BEV特征。

3.如权利要求2所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，对所述稀疏体素特征沿高度维度估计特征空间分布的步骤包括：

通过卷积核大小为3×3×3的3D子流型稀疏卷积估计体素特征重要性权重，其通道数为1；

对所述体素特征重要性沿着高度维度进行归一化得到所述估计的特征空间分布。

4.如权利要求3所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，根据所述估计的特征空间分布对沿高度维度物体特征进行重加权的步骤包括：

使用所述估计的特征空间分布对所述稀疏体素特征沿高度维度进行动态加权，得到所述初始BEV特征。

5.如权利要求1所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，对所述稀疏体素特征进行多尺度体素特征提取的步骤包括：

构造用于提取几何特征的体素特征提取分支，将所述稀疏体素特征作为该体素特征提取分支的初始输入，进行多阶段体素特征提取，对应获得所述多尺度体素特征；

其中，每阶段体素特征提取的输出结果作为下一阶段体素特征提取的输入。

6.如权利要求5所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，对每个尺度上的体素特征进行降维的步骤包括：

对每阶段体素特征提取的输出结果进行降维，获得对应阶段的降维体素特征。

7.如权利要求6所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，对所述初始BEV特征进行多尺度BEV特征提取的步骤包括：

构造用于提取语义特征的BEV特征提取分支，将所述初始BEV特征作为该BEV特征提取分支的初始输入，进行多阶段BEV特征提取；每阶段BEV特征提取的输出结果与对应阶段的所述降维体素特征进行融合，作为下一阶段BEV特征提取的输入。

8.如权利要求1所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，利用最后一层融合的BEV特征进行3D检测，估计目标物体在BEV空间的位置的步骤包括：

将最后一层融合的BEV特征通过多尺度Neck网络送入Center Head检测头，估计物体在BEV空间的位置，同时回归物体3D边界框的中心偏移残差、边界框三维大小、边界框中心点高度、物体航向角以及物体两轴速度。

9.如权利要求1所述的基于自适应与多级特征降维的点云3D检测方法，其特征在于，对所述初始体素特征进行稀疏化的步骤包括：

通过一个卷积核大小为5×5×1的3D稀疏卷积对所述初始体素特征进行处理，增大感受野，得到所述稀疏体素特征。

10.一种基于自适应与多级特征降维的点云3D检测模型，其特征在于，包括：

动态体素化模块，用于对实时获取的点云数据帧进行点云体素化，以获得初始体素特征及其体素坐标；

第一3D稀疏卷积，连接于所述动态体素化模块，用于对所述初始体素特征进行稀疏化，得到稀疏体素特征；

自适应动态特征降维模块，连接于所述第一3D稀疏卷积，用于对所述稀疏体素特征进行自适应动态特征降维，得到初始BEV特征；

体素特征提取分支，连接于所述第一3D稀疏卷积，用于对所述稀疏体素特征进行多尺度体素特征提取，获得包含几何特征的多尺度体素特征；

多级特征降维模块，连接于所述体素特征提取分支，用于对每个尺度上的体素特征进行降维；

BEV特征提取分支，连接于所述自适应动态特征降维模块与所述多级特征降维模块，用于对所述初始BEV特征进行多尺度BEV特征提取，获得包含语义特征的多尺度BEV特征；

3D检测模块，连接于所述BEV特征提取分支，利用所述BEV特征提取分支的最后一层融合的BEV特征进行3D检测，估计目标物体在BEV空间的位置。