[发明专利]语义信息指导的点云目标检测正样本筛选方法

说明书

本发明提供一种语义信息指导的点云目标检测正样本筛选方法，涉及深度学习和三维目标检测技术领域。该方法包括：针对三维空间目标，获取待检测的可见光图像和三维点云数据；对可见光图像进行语义分割，使每一个像素点携带有语义信息；建立可见光图像的像素点与三维点云数据的点的对应关系，根据对应关系对三维点云数据进行扩充，形成扩充后的三维点云数据；根据预设候选框与真值框的语义交并比，从扩充后的三维点云数据筛选正样本和负样本；将正样本和负样本输入预设的点云检测网络进行训练，得到训练好的点云检测网络；将扩充后的三维点云数据输入训练好的点云检测网络，获得三维空间目标的检测结果。

技术领域

本发明涉及深度学习和三维目标检测技术领域，尤其涉及一种语义信息指导的点云目标检测正样本筛选方法。

背景技术

点云目标检测是对三维空间中的目标进行检测的技术，任务是在真实的三维空间中确定每个物体对应的位置和类别。一般采用激光雷达采集的点云数据对其进行建模。激光雷达是激光探测与测距系统的简称，它通过操控向周围环境发射出去的光并测定传感器发射器和目标物体之间的传播距离，测量出环境中许多不同的点，从而探测到三维空间当中的各个目标。

由于激光雷达成本较高，且三维点云数据在距离较远的地方和小目标呈现出稀疏性，在实际的三维目标检测任务中常常使用光学摄像头辅助检测。光学摄像头采集的可见光图像具有丰富的纹理信息，且对于不同大小的目标像素点均较为密集，没有稀疏性，可以较好的弥补三维点云数据的缺陷。

为进行模型训练，需要构建训练样本集，包含正负样本。根据预设候选框与真值框的重叠面积来筛选正负样本是一种常用的样本构建方法。常见的正负样本筛选是根据真值框和预设候选框之间的交并比(IoU)来筛选。直观来讲，如图1所示，交并比是指两个图形面积交集和并集的比值。正负样本筛选的具体步骤为：对于每个真值框，首先将交并比最大的预设候选框设置为正样本，随后在其预设候选框中进行筛选，其中交并比大于正样本阈值的预设候选框也会被设置为正样本，交并比低于负样本阈值的预设候选框则会被设置为负样本，剩余的没有设置为正样本或者负样本的预设候选框则不参与训练。

但是，不同于二维图像，在三维目标检测领域，由于激光雷达的成像方式，点云数据在空间中呈现出不均匀的离散分布，比如车辆的反射点均集中在面向激光雷达一侧，因此采用交并比的方式难以完整描述预设候选框对目标的包含程度。如图2所示，在三维目标检测场景中存在大量这样的点云分布不均匀的目标。这种不均匀分布的目标会给预设候选框的正负样本筛选带来困难。如图3所示，对于真值框，预设候选框1的交并比较高，预设候选框2的交并比较低；但是预设候选框1未包含目标对应的点云，而预设候选框2包含了目标的大部分点云。这种矛盾说明了采用交并比的方式难以完整的描述在三维目标检测场景下预设候选框对目标的包含程度。

发明内容

鉴于上述问题，本发明提供了一种语义信息指导的点云目标检测正样本筛选方法。

本发明一方面提供了一种语义信息指导的点云目标检测正样本筛选方法，包括：步骤S1，针对三维空间目标，获取待检测的可见光图像和三维点云数据；步骤S2，对可见光图像进行语义分割，使分割后的每一个像素点携带有语义信息，语义信息包括该像素点对应的属于每个目标类别的概率；步骤S3，建立可见光图像的像素点与三维点云数据的点的对应关系，根据对应关系对三维点云数据进行扩充，形成扩充后的三维点云数据；步骤S4，根据预设候选框与真值框的语义交并比，从扩充后的三维点云数据筛选正样本和负样本；步骤S5，将正样本和负样本输入预设的点云检测网络进行训练，得到训练好的点云检测网络；步骤S6，将扩充后的三维点云数据输入训练好的点云检测网络，获得三维空间目标的检测结果。

根据本发明的实施例，步骤S1包括：使用光学摄像头采集可见光图像，使用激光雷达采集三维点云数据。