[发明专利]一种多模态弱监督三维目标检测方法、系统及设备

说明书

本发明涉及一种多模态弱监督三维目标检测方法、系统及设备。该方法包括：拍摄多张2D RGB图像，基于2D RGB图像上的二维框标注生成三维视锥；在三维视锥中，滤除车辆激光雷达传感器采集的三维点云中的地面点，依靠种子点区域生长方法，确定三维点数目最多的区域；基于密度的三维参数估计方法，根据三维点数目最多的区域生成物体的三维伪标注框；以三维伪标注框为目标，根据2D RGB图像以及三维点云训练多模态超像素双分支网络；将当前帧的2D RGB图像以及当前场景的三维点云输入至训练后的多模态超像素双分支网络中，生成整体三维点云。本发明能缓解二维和三维模态的分辨率不一致问题，充分利用多模态信息识别和定位三维物体。

技术领域

本发明涉及自动驾驶领域，特别是涉及一种多模态弱监督三维目标检测方法、系统及设备。

背景技术

近年来深度学习飞速发展，但目前网络需要较强的监督信息，三维目标检测作为自动驾驶和机器人领域的重要任务，也被研究者所关注，全监督三维目标检测的精度依赖于人工标注的三维包围框，人工操作繁重。

目前弱监督三维目标检测方法主要针对车辆类别，但实际道路上除了车辆外还有行人和骑自行车的人等类别。目前弱监督三维目标检测方法依然缺乏对于行人和骑自行车的人这类外边缘不明确物体的研究。针对行人和骑自行车的人类别目前的难点在于：

1)难以估计三维参数：车辆类别的物体具有明显的三维外边缘，相对具有更大的体积，且在数据集中数目众多，所以车辆能够较为容易的推测其三维参数(三维位置、三维尺寸以及朝向)，行人和骑自行车的人三维点集中呈现出中心密度高两侧密度低的形态，所以无法像视锥感知几何推理(Frustum-Aware Geometric Reasoning，FGR)一样直接通过推测角点并按序删除的方式找到其俯视图包围框。

2)由于其数目相比车辆更少，易在单一模态下过拟合，导致泛化能力不足。

3)采用多模态特征进行定位三维物体，单纯的拼接颜色信息或三维投影点二维高维特征的方式，并不能充分利用多模态特征。目前多模态融合方法常采用级联式或者点特征融合的方式；其中，级联式的方法会存在误差累计的问题，前一模态无法检测的物体，在后一模态中仍然无法检测；点特征融合的方法虽然在网络层面上对特征进行了融合，规避了级联式方法的误差累计问题，但是二维和三维成像的分辨率并不相同，并不能充分利用多模态信息。

发明内容

本发明的目的是提供一种多模态弱监督三维目标检测方法、系统及设备，解决无法对齐二维和三维模态的信息密度，且无法充分利用多模态信息识别和定位三维物体的问题。

为实现上述目的，本发明提供了如下方案：

一种多模态弱监督三维目标检测方法，包括：

利用摄像头拍摄多张2D RGB图像，并基于每一张所述2D RGB图像上的二维框标注生成三维视锥；

在所述三维视锥中，滤除车辆激光雷达传感器采集的三维点云中的地面点，并依靠种子点区域生长方法，确定滤除后的三维视锥中三维点数目最多的区域；

基于密度的三维参数估计方法，利用主控芯片，根据每个滤除后的三维视锥中三维点数目最多的区域生成物体的三维伪标注框；所述物体为行人或自行车；

利用所述主控芯片，以所述三维伪标注框为目标，根据所述2D RGB图像以及所述三维点云训练多模态超像素双分支网络，生成训练后的多模态超像素双分支网络；所述网络最终输入所述2D RGB图像和三维点云，输出物体三维预测框，用于定位车辆周围物体，以及估计物体的尺寸和朝向。

获取所述摄像头拍摄的当前帧的2D RGB图像以及所述车辆激光雷达传感器采集的当前场景的三维点云，并将所述当前帧的2D RGB图像以及所述当前场景的三维点云输入至所述训练后的多模态超像素双分支网络中，生成当前场景的三维物体预测框；所述三维物体预测框用于定位所述车辆周围的物体，预测当前车辆周围物体的尺寸以及朝向。