[发明专利]一种基于关键点多尺度特征融合的点云3D目标检测方法

权利要求书

1.一种基于关键点多尺度特征融合的点云3D目标检测方法，其特征在于，包括：获取当前时刻待检测的点云数据，将获取的点云数据输入到训练好的点云3D目标检测模型中，得到目标检测结果；

对点云3D目标检测模型进行训练的过程包括：

S1：获取原始点云数据，采用距离最远采样法对原始点云数据进行选取，得到点云序列；

S2：将原始点云数据划分为间距相等的体素块，并提取体素块的初始特征；

S3：将点云序列和体素块的初始特征输入到3D稀疏卷积神经网络中，得到体素特征空间；将点云序列中关键点的位置信息映射到每一层稀疏卷积对应位置的体素特征空间中，更新关键的位置信息；

S4：采用距离最远点采样序列提取法对每一层体素特征空间中的关键点进行特征提取，得到点云序列的距离采样局部特征；即通过距离采样获得关键点dp位置信息，根据关键点位置信息索引映射到各个稀疏卷积对应位置的体素特征空间，以确保关键点在不同层有且仅有一个对应的体素，根据该体素的特征更新关键点的位置信息；将每个体素抽象为一个点，采用PointNet++序列提取方法对体素特征进行提取，得到距离关键点经过稀疏卷积后的特征；采用局部特征融合策略将经过稀疏卷积后的特征进行融合，得到距离采样局部特征；

S5：采用特征最远点采样方法对点云序列的距离采样局部特征进行采样，得到局部特征关键点特征；即将经过距离采样获得的关键点dp的位置信息映射到各个稀疏卷积对应位置的体素特征空间，确保关键点在不同层有且仅有一个对应的体素；采用特征最远点采样获得长度为q的特征关键点序列fp，且该特征关键点序列满足约束条件将每个体素抽象为一个点，采用PointNet++序列提取方法对体素特征进行提取，得到特征关键点经过稀疏卷积后的特征；采用特征融合公式对经过稀疏卷积后的特征进行融合，得到局部特征关键点特征；

S6：采用融合策略将各个稀疏卷积层的距离采样局部特征进行融合，得到距离采样全局特征；采用融合策略将各个稀疏卷积层局部特征关键点特征进行融合，得到特征采样全局特征；

S7：将体素特征空间转化为2D鸟瞰视图，并采用双线性插值法提取鸟瞰视图的稠密特征；采用区域特征提取方法对稠密特征进行处理，生成3D建议框；

S8：根据3D建议框对距离采样全局特征和特征采样全局特征进行感兴趣区域池化，得到目标检测结果；

S9：根据得到的结果计算模型的损失函数，调整模型的参数，当损失函数最小时完成模型的训练。

2.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法，其特征在于，对原始点云数据进行距离特征采样的过程包括：在原始点云数据中随机初始化一个点，以该点为初始点采用距离最远点采样方法从所有点云数据中获取距离关键点，得到点云序列；距离最远点采样方法的公式为：

其中，D-Distance表示两点之间的L2距离，X、Y表示两个点的坐标及反射强度，Sqrt表示非负数的平方根函数，表示空间维度为的任意点，表示除X外空间维度为的任意点，i、j均表示点的索引，P表示点云，表示点云空间维度。

3.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法，其特征在于，提取体素块的初始特征的过程包括：对输入的点云等分为间距相等的体素块，各个体素块的长、宽、高分别为L、W、H；计算落入每个体素块中各个点的距离平均值和反射强度平均值，将各个点的距离平均值和反射强度平均值作为该体素块的初始特征。

4.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法，其特征在于，获取体素特征空间的过程包括：根据划分的体素块的数量预先分配缓冲区；遍历点云序列并将各个点云分配给对应的关联体素，并保存体素坐标和每个体素的点数；在对遍历点云序列的迭代过程中建立哈希表，通过该表检查体素中是否存在点云；若存在与某个点相关的体素，将体素中点的数量加一，若不存在，则重新选择其他点进行查询；根据获得所有体素的坐标和每个体素中点的数量得到实际体素数；对得到的体素进行检测，删除所有的空体素，得到密集体素；采用GEMM对密集体素进行卷积操作，得到体素特征空间。