[发明专利]一种图像-激光雷达图像数据多尺度融合的道路检测方法

说明书

本发明公开了一种图像‑激光雷达图像数据多尺度融合的道路检测方法，所述检测方法包括以下内容：通过坐标系变换矩阵将激光雷达图像数据通过坐标系空间同步投影到相应的图像平面；选取激光雷达投影点云三通道通过处理转换成致密的激光雷达投影图像；将两种数据同时输入到两个完全相同且相对独立的编码器中进行多尺度密集融合；将多尺度密集融合结果输入到图像‑激光雷达融合道路检测网络得到像素级的车道分类结果。通过LCR融合模块可以更好利用激光雷达特征，融合激光雷达全局信息，整合输出通道数；通过构建图像‑激光雷达融合道路检测网络能够比一般的单模态数据结果更鲁棒，对阴影和光照影响更小。

技术领域

本发明涉及计算机视觉图像处理技术领域，尤其涉及一种图像-激光雷达图像数据多尺度融合的道路检测方法。

背景技术

为确保智能车对于道路环境的理解和把握，道路区域检测是智能车行驶的重要依据。人类驾驶员通过识别前方可行驶区域，判断车辆前方道路是否平坦，有无其他障碍区域，如行人，车辆，坑洼地段，从而调整车辆行驶速度和姿态，控制车辆做出相应动作。同样在智能车感知系统中，道路区域检测为智能车进一步控制策略提供最重要依据，当智能车检测到前方道路范围，可依据智能车在道路中的相对位置进行局部路径规划以及决策控制，例如，当车辆在道路区域中有偏移时，可根据偏移量进行修正，同时根据偏航角度，修正车辆位姿。

公开号为CN108985247A的专利介绍了一种多光谱图像道路识别方法，利用光谱图像中道路特征，使用超像素与结构张量进行道路分割。此方法并没有考虑道路的三维特征以及道路障碍物空间特征。

公开号为CN107808140A的专利介绍了一种基于图像融合的单目道路识别算法，利用原始图像数据以及光照不变图像融合分割可行驶道路。同样，方法忽略了道路在三维场景中的特征，没有考虑物体的几何信息。

公开号为CN108052933A的专利介绍了一种基于卷积神经网络的道路识别方法，利用经典的全卷积神经网络分割图像道路区域。但是由于仅仅利用原始图像数据，无法应对复杂场景道路分割，且对阴影以及光照较为敏感。

以上现有的图像处理方法还是基于深度学习的语义分割方法，单纯依靠视觉信息容易受到室外光线变化以及道路阴影遮挡影响，并且无法有效利用三维环境中障碍物的深度信息，出现误检以及漏检等情况。例如，图像会将与道路颜色纹理相近的道路边沿、隔离带、人行道带入到道路检测结果中，出现误检情况；由于楼宇阴影遮挡，光照情况变化，对道路中阴影区域误分类，导致漏检情况出现。

发明内容

本发明的目的在于克服现有技术的不足，提供一种图像-激光雷达图像数据多尺度融合的道路检测方法，解决了现有方法存在的缺陷。

本发明的目的是通过以下技术方案来实现的：一种图像-激光雷达图像数据多尺度融合的道路检测方法，所述检测方法包括以下内容：

通过坐标系变换矩阵将激光雷达图像数据通过坐标系空间同步投影到相应的图像平面；

选取激光雷达投影点云三通道通过处理转换成致密的激光雷达投影图像；

将两种数据同时输入到两个完全相同且相对独立的编码器中进行多尺度密集融合；

将多尺度密集融合结果输入到图像-激光雷达融合道路检测网络得到像素级的车道分类结果。

在进行所述检测方法之前还需完成图像-激光雷达融合道路检测网络的训练。

所述图像-激光雷达融合道路检测网络的训练包括以下内容：

将激光雷达数据通过坐标系空间同步将其投影到相应的图像平面，其三通道中分别包括X，Y，Z方向深度信息；

取激光雷达投影点云三通道分别通过扩展滤波进行密集升采样处理，与图像数据同时归一化到[0,1]区间，同时将激光雷达投影图像和原始图片统一尺寸到1248×384分辨率；