[发明专利]4D毫米波和激光点云多视角特征融合的三维目标检测方法

说明书

本发明公开了4D毫米波和激光点云多视角特征融合的三维目标检测方法，所述方法包括：同时采集毫米波雷达点云数据和激光雷达点云数据；将毫米波雷达点云数据和激光雷达点云数据，输入预先建立和训练好的毫米波与激光雷达融合网络，输出三维目标检测结果；所述毫米波与激光雷达融合网络，用于分别从BEV视角学习激光雷达和毫米波雷达的交互信息，从透视视角学习激光雷达和毫米波雷达的交互信息，将这个交互信息进行拼接，从而实现毫米波雷达点云数据和激光雷达点云数据的融合。本发明的方法能够结合毫米波和激光雷达的优点，同时尽量避免两种模态的缺点，得到更好的三维目标检测结果。

技术领域

本发明涉及一种自动驾驶领域，特别涉及4D毫米波和激光点云多视角特征融合的三维目标检测方法。

背景技术

自动驾驶四大核心技术，分别是环境感知、精确定位、路径规划、线控执行。通过摄像头、超声波雷达、激光雷达、毫米波雷达、惯导系统和全球卫星导航系统等采集环境信息，构建高精度地图进行车辆定位，从而预测周围的静态和动态场景状况。对环境感知信息和车辆定位信息进行融合，为异常处理系统提供输入，进而生成路径规划。最后线控执行则会通过轨迹跟踪对决策系统下达转向控制、驱动控制和制动控制，由执行层中具体的驱动程序和执行部件去执行决策层下达的指令。

目前，实现自动驾驶的关键还是在于环境感知，如障碍物探测、车道线的检测、道路信息读取、地图构建与辅助定位和交通参与者(车辆、行人、动物等)检测与识别。其中，主要的传感器是摄像头、激光雷达和毫米波雷达，摄像头的优势是成本低、2D算法发展成熟。其劣势也很明显，对于光照变化明显的场景、雨雪雾天气适应性较差，测距测速功能性能差。激光雷达的优势是在测距及分辨率上都有较高水平、方向性好及抗干扰能力强。劣势是成本较高，且也会受到雨雪雾天气的影响。毫米波雷达的优势是环境适应性强，具有全天候、全天时工作特性，对于纵向目标距离与速度探测能力强，可实现远距离感知与探测，对于静态和动态目标均能高精度测量。

典型的3D目标检测方法是将点云作为输入，并为每个检测到的目标生成定向的3D边界框。这些方法可以归为两大类，区域建议方法和单阶段方法。区域建议方法会提出几个可能包含目标的区域建议，然后提取区域特征来确定每个建议的类别标签。单阶段方法利用单级网络直接预测类概率，回归目标的三维边界框，不需要区域建议生成和后处理，运行速度更快。两种方法都是通过提取点云的特征输入到网络来定位3D边界框，所以目标上点云的数量和精度就决定了这个目标能否被有效的检测到。比如16线的激光雷达在超过70米的范围里，照射到目标上的点云往往只有一束激光点云，无法描述物体的类别和尺寸。在雨雪雾天气中，由于雨滴和雪花等环境因素对激光雷达传感器的遮挡，点云质量会进一步变差。毫米波雷达在100米的范围内都会产生点云，不会随着距离而衰减，且受雨雪雾天气的影响较少。

大多数公开的数据集中都是3D毫米波数据，如nuScenes数据集，只有约100多个3D毫米波点，每个点包含水平位置信息和速度信息(x,y,v)。本发明所使用的Astyx数据集拥有约1000多个4D毫米波点云，每个点云具有三维位置信息和速度信息(x,y,z,v)。相比于其他数据集，Astyx更适合使用3D目标检测算法提取特征并与激光雷达进行有效的融合。

综上所述，为实现适应特殊天气和远距离高分辨率探测的感知系统，需要融合4D毫米波雷达和激光雷达的数据来对周围环境进行感知。激光雷达由于其点云的密度和精度较高可以在近距离上提供高精度的点云数据，而在更远的距离上就需要毫米波数据的补充。但是毫米波数据的垂直准确度低，且点云密度低，噪声较大，需要和激光雷达数据在特征值提取阶段就进行深度的融合。

发明内容

本发明的目的在于克服上述技术缺陷，提出一种4D毫米波和激光点云多视角特征融合的三维目标检测方法，可以通过多视角和注意力机制学习到两个模态间的相关性和模态内的相关性，从而提取到更加有效的特征。

为实现上述目的，本发明的实施例1提出的一种4D毫米波和激光点云多视角特征融合的三维目标检测方法，所述方法包括：