[发明专利]一种将3D点云检测中稀疏模态稠密化的方法

说明书

本发明涉及人工智能技术领域，具体公开了一种将3D点云检测中稀疏模态稠密化的方法，采用Sparse2Dense框架，所述Sparse2Dense框架包括一个稠密点云三维检测器和一个稀疏点云三维检测器，其中稠密点云三维检测器将稠密点云作为输入，稀疏点云三维检测器将稀疏点云作为输入；步骤S1，预处理原始的点云序列生成稠密点云，并以稠密点云为输入，训练稠密点云三维检测器；步骤S2，以稠密点云三维检测器的特征迁移并嵌入到稀疏点云三维检测器作为监督信号，训练稀疏点云三维检测器；本发明通过在训练稀疏点云三维检测器时，我们用稠密点云三维检测器来教稀疏点云三维检测器模拟的生成密集的三维特征，使得其学会从常规点云中产生高质量的三维特征，从而提高检测性能。

技术领域

本发明涉及人工智能技术领域，具体是一种将3D点云检测中稀疏模态稠密化的方法。

背景技术

3D目标检测广泛应用于自动驾驶、机器人导航和增强现实等领域，其任务主要是对应用场景中感兴趣的物体进行检测。目前3D目标检测主要基于图像或点云数据应用一定的技术手段获取目标的大小、位置等。激光雷达(Lidar)获取的点云数据可提供场景的深度信息并不易受环境因素的影响而被广泛关注，但也受点云密度不均、分布离散以及场景复杂等多方面因素的影响。图像数据易受光线及天气等外界环境因素的影响，对深度信息表达不足但其具有丰富的细节描述，其在3D目标检测中也起着重要作用。目前3D目标检测相关的大部分研究工作主要基于图像、点云和两者结合的方法进行。

现有技术3D目标检测方法仍存在诸多的问题。其主要原因是由于激光雷达传感器的特性，导致小的、离传感器较远的或是被遮挡的物体的点云是稀疏且不完整的。3D目标检测方法经常无法识别到这些物体。其中，采用点云上采样的方法是在原有的点云附近生成固定倍数的点使得点云变得稠密。在自动驾驶点云场景中，点云上采样方法会无差别的给背景点云和物体点云进行上采样，这样会导致大量无用背景点被生成，且点云上采样无法恢复结构丢失的部分的点云。而点云补全方法]虽然能恢复部分丢失的结构，但因为没有指定出物体的区域，这些方法也会对背景区域进行补全而导致推理速度变慢。多帧融合和多模态融合方法还受限于推理速度较慢。现有技术虽然有对于多帧蒸馏到单帧的方法，但是仅仅利用相邻5帧的数据并不能提供远处的目标足够的信息，导致方法对远处物体的检测性能提升有限，且仅仅通过损失函数的优化不足以让学生网络充分的学习到有效的特征。通过融合稀疏物体点云和相似角度的较完整的物体的点云，用于提取概念特征并监督学生网络来提升模型性能。但这样的融合会引入迁移学习的困难度。需要先要显式地生成点再做检测，会比较耗时。

综上所述，本发明提出一种将3D点云检测中稀疏模态稠密化的方法。

发明内容

本发明旨在提出一种将3D点云检测中稀疏模态稠密化的方法，采用具有两个检测器的Sparse2Dense框架。(i)稠密点云三维检测器(DDet)，它是用稠密点云进行三维检测的预训练，以及(ii)稀疏点云三维检测器(SDet)，它是用普通(原始)点云作为输入进行训练。非常重要的是，当训练SDet时，用DDet来教SDet模拟的生成密集的三维特征，这样它就能学会从常规点云中产生高质量的三维特征，从而提高检测性能。

为实现上述目的，本发明提供如下技术方案：一种将3D点云检测中稀疏模态稠密化的方法，所述方法包括如下内容：本方法采用Sparse2Dense框架，所述Sparse2Dense框架包括一个稠密点云三维检测器和一个稀疏点云三维检测器，其中稠密点云三维检测器将稠密点云作为输入，稀疏点云三维检测器将稀疏点云作为输入；

步骤S1，预处理原始的点云序列生成稠密点云，并以稠密点云为输入，训练稠密点云三维检测器；

步骤S2，以稠密点云三维检测器的特征迁移并嵌入到稀疏点云三维检测器作为监督信号，训练稀疏点云三维检测器。

作为本发明所述的一种优选实施方案，所述步骤S1的稠密点云生成方法如下：