[发明专利]一种图像-激光雷达图像数据多尺度融合的道路检测方法

权利要求书

1.一种图像-激光雷达图像数据多尺度融合的道路检测方法，其特征在于：所述检测方法包括以下内容：

通过坐标系变换矩阵将激光雷达图像数据通过坐标系空间同步投影到相应的图像平面；

选取激光雷达投影点云三通道通过处理转换成致密的激光雷达投影图像；

将两种数据同时输入到两个完全相同且相对独立的编码器中进行多尺度密集融合；

将多尺度密集融合结果输入到图像-激光雷达融合道路检测网络得到像素级的车道分类结果；

在进行所述检测方法之前还需完成图像-激光雷达融合道路检测网络的训练；

所述图像-激光雷达融合道路检测网络的训练包括以下内容：

模型在UNet编码器的基础上将视觉图像以及激光雷达投影图像分别通过两路编码器，其中每条之路分别是（R,G,B）和（X,Y,Z）三通道数据；

在每个下采样层中利用激光雷达投影特征图约束图像特征，最后将融合数据通过对称的反卷积结构恢复为原始图像大小以及通道数；

将激光雷达数据通过坐标系空间同步将其投影到相应的图像平面，其三通道中分别包括X，Y，Z方向深度信息；

取激光雷达投影点云三通道分别通过扩展滤波进行密集升采样处理，与图像数据同时归一化到[0,1]区间，同时将激光雷达投影图像和原始图片统一尺寸到1248×384分辨率；

使用[0,1]之间的均匀分布对神经网络参数初始化，将两个数据分别以batch_size为1输入到网络中，对已经建立好的合作网络使用Cross Entropy Loss损失函数，通过Adam优化器进行模型参数更新。

2.根据权利要求1所述的一种图像-激光雷达图像数据多尺度融合的道路检测方法，其特征在于：所述三通道分别包括X，Y，Z方向深度信息。

3.根据权利要求1所述的一种图像-激光雷达图像数据多尺度融合的道路检测方法，其特征在于：所述激光雷达投影点云三通道通过扩展滤波进行密集升采样处理转换成致密的激光雷达投影图像。

4.根据权利要求1所述的一种图像-激光雷达图像数据多尺度融合的道路检测方法，其特征在于：所述两种数据包括图像特征和激光雷达特征；激光雷达图像数据在不同尺度特征上通过LCR融合模块约束图像特征，LCR融合模块中利用1×1的卷积融合激光雷达投影全局特征表达并整合输出通道数。