[发明专利]一种基于激光雷达与图像的深度填充密集系统及方法

权利要求书

1.一种基于激光雷达与图像的深度填充密集系统，其特征在于，包括数据采集模块、分割模块、法向量预估模块以及深度填充模块；

数据采集模块，用于对使用无人车携带的激光雷达和相机传感器进行环境数据的采集，并将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；

分割模块，用于根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；

法向量预估模块，用于对传入的相机数据帧和超像素分割标签进行法向量预估，生成每一个超像素对应的法向量；将图片输入卷积神经网络，从每个超像素中随机抽取一个像素，并将其映射的不同层的特征组成叠加向量--超列，对超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；

深度填充模块，用于对激光雷达数据帧与相机数据帧进行坐标同步处理，使激光雷达和相机数据帧处于同一坐标系，并将激光雷达三维数据投影到相机视场中，结合生成超像素法向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。

2.根据权利要求1所述的一种基于激光雷达与图像的深度填充密集系统，其特征在于，所述的数据采集模块在每一套无人车上至少设有一个激光雷达和至少两个相机传感器。

3.根据权利要求2所述的一种基于激光雷达与图像的深度填充密集系统，其特征在于，所述的相机传感器为单目或多目相机，搭载于无人车车身，能够获取车前或车后的路面场景。

4.一种基于激光雷达与图像的深度填充密集方法，其特征在于，包括以下步骤：

S1.数据采集模块包括视觉传感器，首先对相机的数据进行标定，统一两组视觉传感器获取到的数据信息；

S2.数据采集模块还包括激光雷达，首先检验激光雷达的精确度，对其测量范围进行预估；

S3.数据采集模块根据视觉传感器和激光雷达的运行频率，结合实际使用需求，设定数据周期；将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；

S4.分割模块对根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；

S5.法向量预估模块根据传入的视觉数据帧输入到卷积神经网络生成多层特征；

S6.法向量预估模块从分割模块传入的超像素分割的每个超像素中随机抽取一个像素，并将其映射不同层的特征组成叠加向量—超列，将超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；

S7.深度填充模块根据数据周期把周期内的激光雷达点云和视觉传感器点云进行姿态变换和特征对应变换，分别融合为一帧激光点云数据帧和视觉数据帧；

S8.深度填充模块根据传入的激光点云数据帧和视觉数据帧进行坐标同步处理，确保两种传感器内的数据点处于同一坐标系下，并将激光雷达点云投影到相机视场中；

S9.深度填充模块根据法向量预估模块传入的超像素法向量数据和激光雷达点云拟合出超像素向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。