[发明专利]一种基于激光雷达与图像的深度填充密集系统及方法

说明书

本发明涉及一种基于激光雷达与图像的深度填充密集系统及方法。在本发明中激光雷达采用的是3D激光雷达和视觉传感器，以激光雷达获取到物体的三维信息，结合相机传感器色彩信息的辅助，能够实现精准的路面提取；利用视觉传感器提供的纹理色彩，对三维空间进行信息补充及密集化，过预估超像素法向量，降低建立平面模型需要的激光雷达点云数量，可以适配不同的激光雷达以及不同的设备安装。本发明思路新颖，适应场景广泛，对激光雷达设备要求低，降低传感器融合的传感器需求，是一种全新的基于激光雷达与图像的深度填充密集方法。

技术领域

本发明涉及传感器融合技术领域，更具体地，涉及一种基于激光雷达与图像的深度填充密集系统及方法。

背景技术

随着时代的发展，传感器融合成为越来越重要的课题。激光雷达可以提供准确的外界深度信息，但无法感知物体色彩信息及提供密集的三维信息，通过融合视觉传感器，利用视觉传感器提供的纹理色彩，对三维空间进行信息补充及密集化。前期融合的三维信息可以为道路特征提取提供更多元的特征，从而大幅度提高基于深度信息的环境感知技术的准确性与可靠性。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于激光雷达与图像的深度填充密集系统及方法，通过获取相机传感器色彩纹理信息，生成超像素对应的法向量信息，结合获取物体的三维信息，能够实现精准的三维信息最大化密集填充。

为解决上述技术问题，本发明采用的技术方案是：一种基于激光雷达与图像的深度填充密集系统，包括数据采集模块、分割模块、法向量预估模块以及深度填充模块；其中：

数据采集模块，用于对使用无人车携带的激光雷达和相机传感器进行环境数据的采集，并将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；

分割模块，用于根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；

法向量预估模块，用于对传入的相机数据帧和超像素分割标签进行法向量预估，生成每一个超像素对应的法向量；将图片输入卷积神经网络，从每个超像素中随机抽取一个像素，并将其映射的不同层的特征组成叠加向量--超列，对超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；

深度填充模块，用于对激光雷达数据帧与相机数据帧进行坐标同步处理，使激光雷达和相机数据帧处于同一坐标系，并将激光雷达三维数据投影到相机视场中，结合生成超像素法向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。

进一步的，所述的数据采集模块在每一套无人车上至少设有一个激光雷达和至少两个相机传感器。

进一步的，所述的相机传感器为单目或多目相机，搭载于无人车车身，能够获取车前或车后的路面场景。

本发明还提供一种基于激光雷达与图像的深度填充密集方法，包括以下步骤：

S1.数据采集模块包括视觉传感器，首先对相机的数据进行标定，统一两组视觉传感器获取到的数据信息；

S2.数据采集模块还包括激光雷达，首先检验激光雷达的精确度，对其测量范围进行预估；

S3.数据采集模块根据视觉传感器和激光雷达的运行频率，结合实际使用需求，设定数据周期；将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；

S4.分割模块对根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；

S5.法向量预估模块根据传入的视觉数据帧输入到卷积神经网络生成多层特征；