[发明专利]一种基于双光融合的多目道路智能识别方法

权利要求书

1.一种基于双光融合的多目道路智能识别方法，其特征在于，包括以下步骤：

采集道路的可见光图像和红外图像；

可见光图像和红外图像预处理后进行图像融合获取融合图像；

可见光图像和红外图像通过三维重建获取三维点云图像；

根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。

2.根据权利要求1所述的基于双光融合的多目道路智能识别方法，其特征在于，所述采集道路的可见光图像和红外图像包括：通过前端图像系统采集，前端图像系统包括至少两个可见光相机和至少两个红外相机。

3.根据权利要求2所述的基于双光融合的多目道路智能识别方法，其特征在于，所述可见光图像和红外图像预处理包括：进行图像配准，图像配准采用基于图像边缘特征的配准方法，在初始图像变换参数的基础上，自适应地完成不同距离下的图像配准，变换模型具体为：

4.根据权利要求3所述的基于双光融合的多目道路智能识别方法，其特征在于，所述进行图像融合获取融合图像包括：在图像配准的基础上，分别对红外图像进行低通滤波和对可见光图像进行高通滤波，然后在YCbCr彩色空间完成伪彩色红外和可见红外的融合，融合模型具体如下：

其中，融合系数k为权重因子，决定最终输出的融合图像的融合程度。

5.根据权利要求2所述的基于双光融合的多目道路智能识别方法，其特征在于，所述可见光通过三维重建获取三维点云图像包括：多个可见光相机获取同一目标的多幅图像，由于基线原因三维空间中的一点在多个相机图像中的位置产生视差，利用视差和多个相机的内外参数，通过三角测量的原理，即可得到目标在三维空间中的三维坐标，实现场景的三维重建，获取可见光的三维点云图像。

6.根据权利要求5所述的基于双光融合的多目道路智能识别方法，其特征在于，所述红外图像通过三维重建获取三维点云图像包括：利用平面主动辐射式圆孔标定板，完成对红外立体相机的标定，获取多个红外相机的内外参数；对红外立体图像进行图像校正；对红外图像进行补全处理。

7.根据权利要求6所述的基于双光融合的多目道路智能识别方法，其特征在于，所述对红外图像进行补全处理包括：采用红外图像边缘增强方法，增强图像中的边缘梯度；对红外图像中的显著目标进行相位一致性特征提取，再进行区域匹配，引入视差梯度约束和新人传播法提取特征点的视差图，得到显著特征的视差图；对于非显著区域，采用显著区域的插值法进行视差估计，生成全局图像的视差图；获取视差图后，再结合相机标定获取的相机内外参数，进行三维场景的立体重建，生成带有红外热信息的三维点云图像。

8.根据权利要求1所述的基于双光融合的多目道路智能识别方法，其特征在于，所述根据融合图像对预先构建的深度学习网络进行训练检测包括：融合图像输入算法网络，通过fpn结构和pan结构上下采样融合，输出三个大小不同的特征图，从上到下分别对应深层/中层/浅层特征，通过调整置信度的阈值得到最终的道路目标信息。

9.根据权利要求8所述的基于双光融合的多目道路智能识别方法，其特征在于，所述根据三维点云图像对预先构建的深度学习网络进行训练检测包括：在三维点云图像的点云数据上使用扩张卷积进行物体检测，包括七个扩张卷积层和一个小卷积层，通过3D_LMNET算法网络检测出道路目标信息。

10.根据权利要求9所述的基于双光融合的多目道路智能识别方法，其特征在于，所述获取道路识别结果包括：将根据融合图像检测出的道路目标信息和根据三维点云图像检测出的道路目标信息通过加权融合算法得到最终检测出的道路目标信息作为道路识别结果。