[发明专利]一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法

权利要求书

1.一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法，其特征在于，所述构建方法为：获取训练样本，所述训练样本包括包含检测目标的点云数据和与点云数据对应的标注信息，标注信息用于指示点云数据中检测目标的边界框坐标和边界框坐标中检测目标的分类标签；采用训练样本对多平面编码点云特征深度学习模型进行训练，使得将训练样本中的点云数据输入训练后的多平面编码点云特征深度学习模型得到的识别结果为点云数据中检测目标的位置边界框坐标及边界框坐标中目标的存在概率；

所述多平面编码点云特征深度学习模型是基于pointpillars算法的改进，具体改进之处为：采用多平面融合特征编码网络代替pointpillars算法中的特征编码器网络；所述多平面编码点云特征深度学习模型由多平面融合特征编码网络、Backbone网络和DetectionHead网络组成；

采用训练样本对多平面编码点云特征深度学习模型进行训练的具体步骤为：

(1)将训练样本输入多平面融合特征编码网络，多平面融合特征编码网络对训练样本中点云数据x-y平面、x-z平面和y-z平面的特征进行融合编码，得到x-y平面点云的融合特征，并将点云的融合特征转化为稀疏伪图像；

(2)将稀疏伪图像输入Backbone网络进行特征提取，得到稀疏伪图像的卷积特征图；

(3)将稀疏伪图像的卷积特征图输入Detection Head网络，得到点云数据中检测目标的预测边界框坐标以及预测边界框中存在目标的概率；

(4)以步骤(3)得到的预测边界框坐标为预测结果，以训练样本中标注的边界框坐标为真实结果，根据预测结果和真实结果构造损失函数，损失函数采用交叉熵损失函数，通过随机梯度下降算法优化多平面编码点云特征深度学习模型的网络参数，降低损失函数数值，不断迭代此过程优化网络参数，直至损失函数停止下降，多平面编码点云特征深度学习模型训练过程结束，得到训练后的多平面编码点云特征深度学习模型；

步骤(1)的具体操作为：

(1a)将训练样本中的点云数据离散在x-y平面上均匀间隔的网格上，z方向上不加限制，创建x-y平面上的一系列支柱，每个支柱中包含的点云用r,x_c,y_c,z_c,x_p,y_p特征扩充，得到扩充后的点云特征(x,y,z,r,x_c,y_c,z_c,x_p,y_p)，扩充后的点云特征维度D＝9；其中，x,y,z表示点云的初始坐标值；r表示点云反射率；x_c,y_c,z_c表示该支柱中所有点云坐标求算术平均值得到的坐标值；x_p,y_p表示在当前平面的坐标系下支柱中所有点云相对于坐标中心位置的偏差；

(1b)在x-y平面上，将所有非空支柱中包含的点云数量调整一致，然后根据平面上非空支柱数量、非空支柱中包含的点云数量及非空支柱中点云的特征创建一个密集张量(D,P,N)，即得到x-y平面每个非空支柱的特征(D,P,N)，其中，D表示非空支柱中点云的特征维度，P表示x-y平面上非空支柱的数量，N表示非空支柱中包含的点云数量；

(1c)采用PointNet网络对x-y平面上非空支柱的特征(D,P,N)进行特征学习，学习后得到x-y平面每个非空支柱中点云最终特征(C,P,N)；其中，C表示点云经过PointNet网络学习后得到的新的特征维度，P表示x-y平面上非空支柱的数量，N表示非空支柱中包含的点云数量；

(1d)将训练样本中的点云数据分别离散在x-z平面上均匀间隔的网格上，y方向上不加限制，创建x-z平面上的一系列支柱，每个支柱中包含的点云用r,x_c,y_c,z_c,x_p,z_p特征扩充，得到扩充后的点云特征(x,y,z,r,x_c,y_c,z_c,x_p,z_p)；其中，x,y,z表示点云的初始坐标值；r表示点云反射率；x_c,y_c,z_c表示该支柱中所有点云坐标求算术平均值得到的坐标值；x_p,z_p表示在当前平面的坐标系下支柱中所有点云相对于坐标中心位置的偏差；然后按照上述步骤(1b)～(1c)的操作，得到x-z平面每个非空支柱的点云最终特征(C,P,N)；

(1e)将训练样本中的点云数据分别离散在y-z平面上均匀间隔的网格上，x方向上不加限制，创建y-z平面上的一系列支柱，每个支柱中包含的点云用r,x_c,y_c,z_c,y_p,z_p特征扩充，得到扩充后的点云特征(x,y,z,r,x_c,y_c,z_c,y_p,z_p)；其中，x,y,z表示点云的初始坐标值；r表示点云反射率；x_c,y_c,z_c表示该支柱中所有点云坐标求算术平均值得到的坐标值；y_p,z_p表示在当前平面的坐标系下支柱中所有点云相对于坐标中心位置的偏差；然后按照上述步骤(1b)～(1c)的操作，得到y-z平面每个非空支柱的点云最终特征(C,P,N)；

(1f)将x-z平面、y-z平面每个非空支柱的点云最终特征与x-y平面每个非空支柱中点云最终特征进行叠加，得到x-y平面点云的融合特征(3C,P,N)，采用最大池化操作对融合特征(3C,P,N)进行处理，得到张量(3C,P)，然后根据张量(3C,P)创建稀疏伪图像(3C，H，W)，其中，H表示稀疏伪图像的高，W表示稀疏伪图像的宽。