[发明专利]基于交叉注意力机制的图像点云融合三维目标检测方法

说明书

本发明涉及一种基于交叉注意力机制的图像点云融合三维目标检测方法及系统，属于三维目标检测领域。方法包括：对图像进行目标检测及分割处理，得到实例掩码；根据点云图像空间投影关系得到每一个实例掩码内的点云集合；使用DBSCAN聚类算法对每一个点云集合内的点云进行聚类，为前景点集合中的所有点云逐点拼接实例分割结果向量，将经图像特征渲染的点云所占的整个三维空间划分成多个柱体并进行特征拆分和重组，引入交叉注意力机制聚合柱体内每个点的位置特征和图像特征，多个柱体的融合特征构成伪图像特征；使用RPN网络提取并整合伪图像特征的多尺度特征，根据高分辨率特征图生成三维目标检测结果；从而提高了融合精度，实现了更优的检测效果。

技术领域

本发明涉及基于计算机视觉的三维目标检测技术领域，特别是涉及一种基于交叉注意力机制的图像点云融合三维目标检测方法。

背景技术

智能交通是解决道路拥堵、降低交通事故、提高通勤效率的主流技术。而自动驾驶技术是智能交通的突破口。典型的自动驾驶车辆系统架构总体可分为环境感知、决策规划和运动控制三大模块，三部分呈现级联式的架构。因此，车辆具备精确且实时的环境感知能力对下游模块的正确决策与精准控制至关重要。三维目标检测作为感知中的重要任务，要求定位车身周围的障碍物，估计出尺寸以及朝向，并对其正确分类。

激光雷达和摄像头作为自动驾驶车辆搭载的常用传感器，是感知模块的重要信息来源。激光雷达传感器获取到的点云数据中，每个点包含空间坐标(x,y,z) 和某些属性(如反射强度)，很好地表征了物体的三维结构。而摄像头能获取周围环境高分辨率的颜色、纹理信息。两类传感器的优缺互补特性十分明显，因此，激光雷达与摄像头的融合方法吸引了国内外大量研究学者的目光。

现有的基于激光雷达和摄像头融合的检测模型大致可以分为三类：(1)二维驱动的三维目标检测方法，例如斯坦福大学提出的F-PointNet模型；该类方法首先在图像上进行二维目标检测，然后将二维检测框投影至三维，得到对应的视锥，最后利用视锥内的点云完成三维目标检测任务；(2)基于多视图融合的方法，例如清华大学提出的MV3D以及滑铁卢大学提出的AVOD模型；该类方法将三维区域分别投影到图像和点云的多视图上，裁剪相应区域并将所有视图融合，完成三维目标检测任务；(3)基于逐点投影的方法，例如nuTonomy公司提出的PointPainting和上海交通大学提出的PointAugmenting；该类方法将点云投影至图像平面，获取相应位置的图像特征，这样通过空间变换关系构建起的一一映射使得点云和图像的融合更加细致，能有效提高融合精度。然而，现有的基于逐点投影的方法目前还存在亟待解决的2D图像到3D点云空间的投影模糊性问题和误渲染问题。

发明内容

为解决现有图像点云逐点投影融合方法的不足，本发明提出一种基于交叉注意力机制的图像点云融合三维目标检测方法，通过DBSCAN聚类算法改进点云分割结果，并引入交叉注意力机制聚合点云领域内的图像特征，以此解决 2D图像到3D点云空间的投影模糊性问题和误渲染问题，提高融合精度，实现更优的检测效果。

为实现上述目的，本发明提供了如下方案：

一种基于交叉注意力机制的图像点云融合三维目标检测方法，包括：

获取相机采集的二维图像并对所述二维图像进行目标检测及分割处理，得到多个二维图像实例掩码；

根据点云图像空间投影关系得到所述多个二维图像实例掩码中每一个实例掩码内的点云集合；

使用DBSCAN聚类算法对每一个点云集合内的点云进行聚类，分别得到前景点集合和背景点集合；

为所述前景点集合中的所有点云逐点拼接实例分割结果向量，得到经图像特征渲染的点云；

将所述经图像特征渲染的点云所占的整个三维空间划分成多个柱体，并进行特征拆分和重组，得到柱体内每个点的位置特征和图像特征；