[发明专利]3D目标检测方法及装置

说明书

本发明公开了一种3D目标检测方法，包括获取原始的RGB图像；在RGB图像上进行2D目标检测得到2D边界框和目标类别；利用2D边界框进行分割和重采样得到包含目标的视锥点云数据；利用2D边界框对RGB图像进行裁剪得到目标RGB图像；将目标RGB图像输入到特征提取网络得到RGB深度特征；将视锥点云数据和RGB深度特征输入到分割网络得到分割掩膜并转换为目标点云；将目标点云进行重采样并输入到3D框预测网络得到最终的目标3D边界框。本发明还提供了一种实现所述3D目标检测方法的装置。本发明方法融合了RGB深度特征与视锥点云数据，因此可靠性更高，而且准确性更好。

技术领域

本发明属于图像处理领域，具体涉及一种3D目标检测方法及装置。

背景技术

随着经济技术的发展和智能技术的广泛应用，自动驾驶领域已经成为了当今的研究热点。

多模态的感知融合技术是自动驾驶系统的重要组成部分；自动驾驶系统往往需要融合多种传感器的感知数据，在三维空间进行目标检测，从而为规划模块提供车辆周围环境的真实可靠的合理表达。

视锥点云，是利用图像平面上的目标2D边界框和和激光雷达坐标系与相机坐标系之间的映射关系，将属于2D目标所在的空间视锥中的激光点分割出来所组成的锥形点云。目前，已经存在许多基于视锥点云的3D目标检测方法：

方法a：在RGB图像上检测出2D目标框，分割出视锥点云以后将其输入到一个分割网络进行目标或非目标的二分类，输出分割掩模并分割出目标点云；再将目标点云输入到一个3D边界框预测网络，对目标中心坐标进行回归，对尺寸和航向角进行分类和回归，最终输出以向量(x,y,z,w,l,h,θ)的形式表示的目标3D边界框；

方法b：在方法a的基础上，引入Mask RCNN来直接输出目标在图像平面上的2D掩膜，并用这个2D掩膜来分割原始点云得到视锥点云，而不是像a一样在三维坐标中来做分割；

方法c：在方法a的基础上，在其进行目标或非目标的而分类时，引入了注意力机制来找到点云数据中需要被关注的空间点和特征通道，以达到有效增加目标信息的目的。并使用Focal Loss来决点云数据中目标与背景类别不平衡的问题。

但是，目前的3D目标检测方法，依旧存在准确性较差和可靠性不高的问题，从而影响了多模态的感知融合技术的应用。

发明内容

本发明的目的之一在于提供一种可靠性高且准确性好的3D目标检测方法。

本发明的目的之二在于提供一种实现所述3D目标检测方法的装置。

本发明提供的这种3D目标检测方法，包括如下步骤：

S1.获取原始的RGB图像；

S2.在步骤S1获取的RGB图像上进行2D目标检测，从而得到2D边界框和目标类别；

S3.利用步骤S2得到的2D边界框进行分割和重采样，从而得到包含目标的视锥点云数据；

S4.利用步骤S2得到的2D边界框对步骤S1获取的RGB图像进行裁剪，从而得到目标RGB图像；

S5.将步骤S4得到的目标RGB图像输入到特征提取网络，得到RGB深度特征；

S6.将步骤S3得到的视锥点云数据和步骤S5得到的RGB深度特征输入到分割网络，得到分割掩膜，并转换为目标点云；

S7.将步骤S6得到的目标点云进行重采样，并输入到3D框预测网络，从而得到最终的目标3D边界框。

步骤S3所述的利用步骤S2得到的2D边界框进行分割和重采样，从而得到包含目标的视锥点云数据，具体为利用步骤S2得到的2D边界框进行分割，并重采样1024个点，从而得到包含目标的视锥点云数据。