[发明专利]三维目标检测方法及装置

权利要求书

1.一种三维目标检测方法，其特征在于，包括：

获取目标环境的图像和点云数据；

获取所述图像的语义信息，所述语义信息包括所述图像中像素对应的类别信息；

根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据、所述图像及所述图像的所述语义信息，确定所述目标环境中目标的三维位置信息，包括：

将所述图像及所述图像的所述语义信息投影至所述点云数据中，生成语义点云数据；

提取所述语义点云数据中的特征信息，生成语义点云特征信息；

根据所述语义点云特征信息确定所述语义点云数据中目标的三维位置信息。

3.根据权利要求2所述的方法，其特征在于，所述语义点云特征信息通过语义点云特征识别网络输出，所述三维位置信息通过目标检测网络输出。

4.根据权利要求3所述的方法，其特征在于，所述语义点云特征识别网络包括点云特征识别子网络和图像特征识别子网络，其中，

所述点云特征识别子网络，用于提取所述点云数据的点云特征信息；

所述图像特征识别子网络，用于根据所述图像及所述语义信息提取所述图像中的图像特征信息，并利用所述图像特征信息动态调整所述点云特征识别子网络的网络参数。

5.根据权利要求4所述的方法，其特征在于，所述点云特征识别子网络包括至少一个网络层，所述图像特征识别子网络分别与所述至少一个网络层相连接，其中，

所述图像特征识别子网络，具体用于根据所述图像及所述语义信息提取所述图像中的图像特征信息，并利用所述图像特征信息分别动态调整所述至少一个网络层的网络参数。

6.根据权利要求4或5所述的方法，其特征在于，所述网络参数包括卷积核参数和/或注意力机制参数，其中，所述注意力机制参数用于将所述图像特征信息中与所述点云数据相关性大于相关性阈值的信息作为调整所述点云特征识别子网络的有效信息。

7.根据权利要求5或6所述的方法，其特征在于，还包括：

分别获取所述至少一个网络层的输出数据；

根据所述输出数据，确定所述网络参数对应的调整效果数据。

8.根据权利要求1-7任意一项所述的方法，其特征在于，所述语义点云特征识别网络和所述目标检测网络按照下述方式训练得到：

获取多个语义点云训练样本，所述语义点云训练样本中包括点云数据样本以及投影至所述点云数据样本中的图像样本及所述图像样本的所述语义信息，所述语义点云训练样本中标注有目标的三维位置信息；

构建语义点云特征识别网络和目标检测网络，所述语义点云特征识别网络的输出端与所述目标检测网络的输入端连接；

分别将所述多个语义点云训练样本输入至所述语义点云特征识别网络中，经所述目标检测网络输出预测结果；

基于所述预测结果与标注的所述目标的三维位置信息之间的差异，对所述语义点云特征识别网络和所述目标检测网络的网络参数进行迭代调整，直至迭代满足预设要求。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述获取所述图像的语义信息，包括：

对所述图像进行全景分割，生成所述图像的语义信息，所述语义信息包括所述图像的全景分割图像，所述全景分割图像中包括全景分割得到的不同对象的图像区域以及所述图像区域对应的类别信息。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述图像包括全景图像。