[发明专利]一种基于双光融合的多目道路智能识别方法

说明书

本发明公开了一种基于双光融合的多目道路智能识别方法，包括以下步骤：采集道路的可见光图像和红外图像；可见光图像和红外图像预处理后进行图像融合获取融合图像；可见光图像和红外图像通过三维重建获取三维点云图像；根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。通过影像融合并利用多目同步摄影生成深度图，以检测目标得准确尺寸、位置和距离。所述系统应用于自动驾驶场景时，使得车辆在任何道路，光线和天气条件下检测任何物体成为可能，极大扩展了自动驾驶系统的全天候应用场景。

技术领域

本发明涉及立体视觉技术，尤其涉及一种基于双光融合的多目道路智能识别方法。

背景技术

立体视觉技术由于可以提供准确的深度信息并进行3D建模，已经被视为自动驾驶、机器人导航、AGV等环境感知领域的至关重要的视觉解决方案。相较于其他视觉技术，立体视觉技术不采用主动发射源，不需要融合其他传感器数据，在3D距离量测、自我位置识别、防碰撞、物体追踪、车道识别、道路边界识别等方面的表现卓越，处理速度亦可满足实时应用需求。

为了解决基于微光的立体视觉系统在极端天气和光照下“失明”的问题，红外成像技术必然成为未来视觉感知系统的重要一环。红外成像技术和微光成像技术原理不同，它通过感应物体发出的热信息进行成像，因此对于行车环境中行人、动物和其他生物的识别具有独特的优势。此外，近年来红外相机在尺寸和成本上的降低使它们成为未来视觉感知系统中不可缺少的组件。通过使用两台红外相机组成一个红外立体系统，不仅可以检测到具有热辐射表现得目标，还可以确定目标的距离和形状。

然而，立体视觉技术被广为担忧的一点，即其对抗极端天气和恶劣光照的能力。基于微光摄像头的立体视觉系统在极端天气和复杂光照下会出现“失明”的问题，毫米波测距测速雷达无法精细测量道路目标的三维信息，新兴激光雷达立体视觉系统在极端天气下同样面临失效问题。此外，基于单目的道路目标识别依赖于深度神经网络处理技术，会遇到训练网络中存在未知对象的极端情况，特别是极端天气以及复杂光照条件下目标识别准确率明显降低。

发明内容

鉴于目前存在的上述不足，本发明提供一种基于双光融合的多目道路智能识别方法，能够利用多目同步摄影生成深度图，以检测道路目标的准确尺寸、位置和距离等信息，使得车辆在任何道路，光线和天气条件下检测任何物体成为可能，极大扩展了自动驾驶系统的全天候应用场景。

为达到上述目的，本发明的实施例采用如下技术方案：

一种基于双光融合的多目道路智能识别方法，包括以下步骤：

采集道路的可见光图像和红外图像；

可见光图像和红外图像预处理后进行图像融合获取融合图像；

可见光图像和红外图像通过三维重建获取三维点云图像；

根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。

依照本发明的一个方面，所述采集道路的可见光图像和红外图像包括：通过前端图像系统采集，前端图像系统包括至少两个可见光相机和至少两个红外相机。

依照本发明的一个方面，所述可见光图像和红外图像预处理包括：进行图像配准，图像配准采用基于图像边缘特征的配准方法，在初始图像变换参数的基础上，自适应地完成不同距离下的图像配准，变换模型具体为：

依照本发明的一个方面，所述进行图像融合获取融合图像包括：在图像配准的基础上，分别对红外图像进行低通滤波和对可见光图像进行高通滤波，然后在YCbCr彩色空间完成伪彩色红外和可见红外的融合，融合模型具体如下：

其中，融合系数k为权重因子，决定最终输出的融合图像的融合程度。