[发明专利]一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法

说明书

本发明公开一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法，所述方法包括：利用卷积神经网络分别提取目标的摄像头图像和激光雷达投影图的图像特征，分别得到第一图像特征和第二图像特征；自适应地分配第一图像特征和第二图像特征的权重，根据分配的第一权重对第一图像特征加权得到第三图像特征，根据分配的第二权重对第二图像特征加权得到第四图像特征，对第三图像特征和第四图像特征进行强化融合；根据所述融合后的图像特征，利用实时实例分割网络输出目标的类别、置信度、边界框、掩模，获取目标的实例分割结果。本发明能够在复杂环境下实时、精确且鲁棒地实现目标实例分割，在智能网联车辆感知领域具有广泛的应用前景。

技术领域

本发明属于智能网联汽车的目标实例分割技术领域，特别是一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法。

背景技术

智能网联汽车在提高道路安全和交通效率方面具有很大的潜力，而对交通环境的精确感知是智能网联汽车进行规划、决策和控制的基础。摄像头作为智能网联汽车感知系统最常用的传感器，能够获取周围环境的详细形状和纹理信息。近些年，基于视觉的深度学习算法在环境感知方面已经取得了令人瞩目的成果。但是摄像头容易受到光线和天气条件的影响，导致算法性能严重降低甚至失效。所以，智能网联汽车的感知系统通常配备多种传感器，如摄像头、激光雷达、毫米波雷达、超声波雷达等，来获取全面的、互补的感知信息。由于激光雷达能够精确感知周围环境的三维信息且不易受环境变化影响，很多研究工作通过融合摄像头和激光雷达信息来获取鲁棒、精确、实时的环境感知能力。

中国发明专利申请“基于视觉、激光雷达和毫米波雷达的目标检测方法”(申请号：202010380040.9，公开日：2020.06.30)通过融合激光雷达点云鸟瞰图和摄像头图像来进行目标检测。目标检测利用边界框来定位图像中的目标，但是边界框中通常还包含来自背景以及其他目标的噪声；而实例分割利用掩模来精确分割图像中的目标个体，对环境的解析更详细、更自然。

中国发明专利申请“一种基于多传感器信息融合的三维目标检测方法及装置”(申请号：201911269486.8，公开日：2019.12.11)和“一种基于多传感器数据融合的3D目标检测方法”(申请号：201911423880.2，公开日：2020.05.29)公开了融合激光雷达和摄像头数据的两阶段三维目标检测方法，首先确定可能存在目标的感兴趣区域，然后再在该区域上进行目标检测，此类方法处理速度较慢，目前无法实际应用在智能网联汽车感知系统上。

在融合方式上，中国发明专利申请“一种基于单目视觉和激光雷达融合的车辆检测方法”(申请号：202010124991.X，公开日：2020.06.16)和“一种摄像头和激光雷达融合的端到端目标检测方法”(申请号：201911118301.3，公开日： 2019.11.15)利用级联、求和或按元素取均值等方式来融合图像和激光雷达特征图。但是，此类融合方式并没有考虑不同模态信息对于最后感知结果的贡献程度，如激光雷达在夜间通常比摄像头提供更多的环境信息，使得网络无法充分利用两个模态的互补特征，导致网络性能受限。

总之，现有技术存在的问题是：仅依赖单模态传感器无法精确、鲁棒的感知外部环境；而目前基于摄像头和激光雷达的融合感知方法的目标定位精度低且实时性较差，并且所采用的融合方法无法自适应地学习不同模态的互补特征。

发明内容

本发明的目的在于提供一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法，该方法可以自适应地利用不同模态的互补特征，有效实现对复杂交通环境下不同交通要素目标的实时实例分割。

实现本发明目的的技术解决方案为：

一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法，所述方法包括：

S10，特征提取：利用卷积神经网络分别提取目标的摄像头图像和激光雷达投影图的图像特征，得到对应摄像头图像的第一图像特征和对应激光雷达投影图的第二图像特征；