[发明专利]一种基于激光雷达与图像的深度填充密集系统及方法

摘要

本发明涉及一种基于激光雷达与图像的深度填充密集系统及方法。在本发明中激光雷达采用的是3D激光雷达和视觉传感器，以激光雷达获取到物体的三维信息，结合相机传感器色彩信息的辅助，能够实现精准的路面提取；利用视觉传感器提供的纹理色彩，对三维空间进行信息补充及密集化，过预估超像素法向量，降低建立平面模型需要的激光雷达点云数量，可以适配不同的激光雷达以及不同的设备安装。本发明思路新颖，适应场景广泛，对激光雷达设备要求低，降低传感器融合的传感器需求，是一种全新的基于激光雷达与图像的深度填充密集方法。

主权项

1.一种基于激光雷达与图像的深度填充密集系统，其特征在于，包括数据采集模块、分割模块、法向量预估模块以及深度填充模块；数据采集模块，用于对使用无人车携带的激光雷达和相机传感器进行环境数据的采集，并将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；分割模块，用于根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；法向量预估模块，用于对传入的相机数据帧和超像素分割标签进行法向量预估，生成每一个超像素对应的法向量；将图片输入卷积神经网络，从每个超像素中随机抽取一个像素，并将其映射的不同层的特征组成叠加向量‑‑超列，对超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；深度填充模块，用于对激光雷达数据帧与相机数据帧进行坐标同步处理，使激光雷达和相机数据帧处于同一坐标系，并将激光雷达三维数据投影到相机视场中，结合生成超像素法向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。