[发明专利]一种基于多传感器数据融合的3D目标检测方法

说明书

本发明公开了一种基于多传感器数据融合的3D目标检测方法。首先，分别利用两个神经网络对点云和图像进行逐点和逐像素的特征提取，在点云的前景点上进行区域建议。然后利用传感器的标定矩阵实现两种异质传感器数据的逐点关联，实现最大程度上的关联。最后再利用一个神经网络对每一个区域的联合特征表示进行自适应的融合，并根据融合后的区域特征直接进行进一步得精细化调整。本发明使用神经网络自适应地融合两类传感器数据特征，克服了点云数据稀疏和图像数据没有深度信息等不足，来实现3D目标检测，基于本发明所提出方法的3D目标检测结果具有较高的精准度，优于现有的大多数3D目标检测方法，具有良好的准确性和鲁棒性。

技术领域

本发明属于计算机技术及图像处理领域，尤其涉及一种一种基于多传感器数据融合的3D目标检测方法。

背景技术

3D目标检测作为一种目标级别的场景感知技术，是自动驾驶系统中感知技术的核心。相比于平面目标检测，它能够直接提供周围环境中物体的真实位置、形状大小、朝向和类别，为决策规划直接提供理论依据，大多数自动驾驶系统都依赖于3D目标检测结果。因此提供更高精度的3D目标检测结果，不仅能够促进对环境感知技术的探索，同时更能够推动自动驾驶技术的发展。

在过去几年中，基于图像的目标检测任务发展迅速，能够有相对成熟的网络设计来获取到描述物体类别的高级特征。但依靠平面图像的目标检测结果无法直接为自动驾驶任务提供有用的决策依据，例如缺失目标的精确位置、形状大小等信息。而在自动驾驶系统中另一种传感器激光雷达的点云数据却能够提供周围3D空间的真实空间信息，例如距离深度、表面形状等信息。但激光雷达的传感特性决定了点云数据的无序性、稀疏性，这种非结构化的数据难以直接应用常规的卷积神经网络结构进行处理。

因此只基于激光雷达的3D目标检测方法通常能够借助点云提供的距离信息能够提供精准的定位，但点云的稀疏特性决定了此类方法只在大体积物体上表现得更好。其中更有一些基于点云体素或投影的处理方法则会丢失更多的细节信息，难以在小物体上表现。而只基于摄像头的方法，虽然能够更好的利用致密的图像数据检测小物体，但深度确实和透视形变却让它们难以在定位和形状上进行抗衡，整体性能存在较大差距。即使是基于融合的算法，大部分也只是视图和区域方框级的融合，不仅有损点云信息而且也没有考虑物体表面结构的细节信息；甚至有些基于融合的检测算法只基于图像上的区域建议框，然后利用对应部分的点云来获取3D信息，这样图像上物体的透视形变、前后遮挡等因素会直接限制区域建议的性能。

发明内容

本发明的目的是针对现有3D目标检测方法的不足，提供一种基于多传感器数据融合的3D目标检测方法，使得对大小物体均有较好的检测性能。

本发明采取的技术方案是：

首先，将激光雷达(LiDAR)产生的360°视角的点云数据根据单目摄像头视角范围进行剪裁，保证处理区域内既有点云数据又有图像数据；然后利用神经网络分别对点云数据进行处理，得到点云的前后景分割结果、空间特征以及区域建议3D框，同时利用另一路神经网络对图像数据进行语义分割，得到图像的前后景分割结果、语义特征。同时利用点云空间里面不存在透视遮挡的特性，在点云的前景点上进行区域建议。接着利用激光雷达和摄像头之间的标定关系进行点和像素的特征关联，得到多传感器数据的联合特征，实现最大程度上的关联。最后将目标区域建议框和对应的联合特征共同送入另一路神经网路进行目标区域的自适应特征融合和3D框优化，从而得到更精准的空间定位(x,y,z)、外形尺寸(w,h,l)、空间朝向θ以及类别。

技术方案具体包括以下步骤：

步骤(1).输入激光雷达点云I_lidar和单目摄像头图像I_img；

步骤(2).利用传感器标定矩阵对输入点云I_lidar进行剪裁，利用传感器标定矩阵将每个点p(x,y,z)投影到图像平面上，只保留图像平面内的点，使得激光雷达和摄像头两个传感器数据具有相同的视场范围，投影公式为：