[发明专利]基于点云带权通道特征的三维目标检测方法及系统

权利要求书

1.一种基于点云带权通道特征的三维目标检测方法，其特征在于，所述检测方法包括：

通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；

基于各目标物，在对应的三维点云空间中确定点云视锥；

基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；

基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测；所述3D Box的参数包括中心、尺寸、角度及角点；

“基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数”具体包括：

基于带权通道特征的网络，计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失；

根据视锥中点云分割产生的分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失，计算总的损失函数；

根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数；

所述总的损失函数为：

L＝L_seg+λ(L_center+L_size-reg+L_size-cls+L_angle-reg+L_angle-cls)+γL_corner

L_center＝Hingle_δ＝2.0(x)

L_size-reg＝Hingle_δ＝1.0(x)

其中，L表示总的损失函数，L_seg表示分割损失，L_center、L_size-cls、L_size-reg、L_angle-cls、L_angle-reg分别表示3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失，L_corner表示3D Box的角点损失，λ表示3D Box的中心，角度以及尺寸损失权重，γ表示的是角点损失的权重，Hingle表示Hingle损失函数。

2.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法，其特征在于，通过以下公式，得到多个目标物：

x,y,w,h＝Net(I)；

其中，I表示的是二维图像，Net表示的是深度卷积神经网络；每个目标物的位置可以用一个2D Box的中心点坐标(x,y)，长h，宽w表示。

3.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法，其特征在于，所述基于各目标物，在对应的三维点云空间中确定点云视锥，具体包括：

将在Lidar传感器坐标系上的点x_vel转换为摄像机的坐标系上的点x_cam：

其中，是坐标系的变换矩阵；

将摄像机的坐标系上的点x_cam投影到二维图像上的像素点x_img：

x_img＝Px_cam；

其中，P表示相机坐标系到二维图像坐标系的投影矩阵；

根据各目标物，确定所有投影到目标物上点云，所有投影到目标物上点云为所述点云视锥。