[发明专利]基于点云带权通道特征的三维目标检测方法及系统

说明书

本发明涉及一种基于点云带权通道特征的三维目标检测方法及系统，所述检测方法包括：通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；基于各目标物，在对应的三维点云空间中确定点云视锥；基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测。本发明通过深度卷积神经网络能够更准确的学习到图像的特征；基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，可降低不重要点的特征降的权重，增加关键点的权重，从而可抑制干扰点，并增强关键点，从而可提高3D Box参数的精度。

技术领域

本发明涉及计算机视觉，图像处理技术领域，特别涉及一种基于点云带权通道特征的三维目标检测方法及系统。

背景技术

基于点云的三维目标检测在无人驾驶中属于一个非常重要的任务。要求输入点云数据，有时可能还需要输入对应的RGB的图像数据，然后输出3D Box的参数。

一般来说，首先需要对三维点云进行栅格化，然后在每个栅格中使用三维卷积操作提取点云的特征，但是三维卷积操作在大场景中是非常消耗计算量的，这样会导致很难应用到真实场景中。通过观察，发现真实场景中的点云是十分稀疏的。

一般来说，在无人驾驶传感器输出的3D数据通常都是以点云的形式存储的。三维点云分割是真实场景中对三维目标检测中的关键，好的分割效果会提高的三维目标检测的性能。

3D Box的估计是三维目标检测的最后一步，也是十分重要的一步。由于分割效果不可能完全准确无误，在这些点云中或多或少的存在一些干扰点，这会对最后的3D Box产生负面的影响。

发明内容

为了解决现有技术中的上述问题，即为了降低点云中的干扰，本发明提供一种基于点云带权通道特征的三维目标检测方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种基于点云带权通道特征的三维目标检测方法，所述检测方法包括：

通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；

基于各目标物，在对应的三维点云空间中确定点云视锥；

基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；

基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测。

可选的，通过以下公式，得到多个目标物：

x,y,w,h＝Net(I)；

其中，I表示的是二维图像，Net表示的是深度卷积神经网络；每个目标物的位置可以用一个2D Box的中心点坐标(x,y)，长h，宽w表示。

可选的，所述基于各目标物，在对应的三维点云空间中确定点云视锥，具体包括：

将在Lidar传感器坐标系上的点x_vel转换为摄像机的坐标系上的点x_cam：

其中，是坐标系的变换矩阵；

将摄像机的坐标系上的点x_cam投影到二维图像上的像素点x_img：

x_img＝Px_cam；

其中，P表示相机坐标系到二维图像坐标系的投影矩阵；

根据各目标物，确定所有投影到目标物上点云，所有投影到目标物上点云为所述点云视锥。