[发明专利]一种基于深度学习的路侧视角超视距全域融合感知系统

权利要求书

1.一种基于深度学习的路侧视角超视距全域融合感知系统，其特征在于：包括以下步骤：

步骤1、在路侧布置传感器模组，包括摄像头、激光雷达、毫米波雷达；

步骤2、采集传感器数据，包括摄像头的图像数据、激光雷达的点云数据、毫米波雷达的点云数据并进行预处理，包括时间同步、噪声滤波、数据解析、数据拼接；

步骤3、将预处理后的传感器数据输入到数据层融合模块进行数据层融合处理，步骤如下：

步骤3.1、以图像为基准，限制有效的识别范围；

步骤3.2、将激光雷达点云数据投影到图像的成像平面上，对有效识别范围之外的激光雷达点云进行去除；

步骤3.3、将毫米波雷达点云数据投影到图像的成像平面上，对有效识别范围之外的毫米波雷达点云进行去除；

步骤3.4、根据图像、处理后的激光雷达点云、处理后的毫米波雷达点云构建数据层融合模型并输出数据；构建的数据层融合模型如下式所示：

{I(I_R,I_G,I_B),G'_L(x_L,y_L,z_L),G'_R(x_R,y_R)}

其中，I(I_R,I_G,I_B)为图像像素模型，G'_L(x_L,y_L,z_L)为筛选后的激光雷达点云模型，G'_R(x_R,y_R)为筛选后的毫米波雷达点云模型；

步骤4、将数据层融合处理后的图像数据输入到图像语义分割模块，通过预先构建好的深度学习语义分割模型进行语义理解；将数据层融合处理后的激光雷达点云数据输入到激光雷达点云分割模块，通过预先构建好的点云级别的深度学习分割模型进行点云分割；

步骤5、将图像语义分割结果和激光雷达点云分割结果输入到决策层融合模块进行处理，处理步骤如下：

步骤5.1、将图像语义分割模块的输出、激光雷达点云分割模块的输出、毫米波雷达点云数据输入到决策层融合模块；

步骤5.2、将激光雷达点云分割模块的输出、毫米波雷达点云数据投影到图像成像空间；

步骤5.3、利用图像语义分割结果构建决策层融合基准数据，基准数据模型如下：

HL_F(u,v,1)＝Label_I(u,v)

式中，HL_F(u,v,1)为决策层融合输入数据的基准数据层，Label_I(u,v)为图像标签矩阵；

步骤5.4、利用激光雷达点云分割结果构建决策层融合数据，构建的激光雷达点云融合数据模型如下：

HL_F(u,v,2)＝Label_L(u,v)

式中，HL_F(u,v,2)为决策层融合输入数据的激光雷达数据层，Label_L(u,v)为激光雷达标签投影转换成像素坐标系的标签矩阵；

步骤5.5、利用毫米波雷达点云构建决策层融合数据，构建的毫米波雷达点云融合数据模型如下：

HL_F(u,v,3)＝Data_R(u,v)

式中，HL_F(u,v,3)为决策层融合输入数据的毫米波雷达数据层，Data_R(u,v)为毫米波雷达点云投影转换成像素坐标系的标签矩阵；

步骤5.6、对构建的融合数据进行拼接，并建立融合策略进行决策层数据融合，对图像融合数据进行优化，具体策略如下：

首先，计算像素点对应所有标签的势函数值，具体如下式所示：

式中，Label_i＝{Label_I(u_i+k,v_i+k),Label_L(u_i+m,v_i+m),Label_R(u_i,v_i)|k,m＝-1,0,1}，n取值范围为Label_i中元素的个数，pot_i(n)为第i个像素点对应第n个标签的势函数值；

然后，找到势函数最小值所对应的标签；

最后，把最小值对应的标签设为像素点优化后的标签，并对下一个像素点进行优化；

步骤5.7、对比图像融合数据优化前后结果差异，如果优化前后差异超过阈值，则对激光雷达融合数据、毫米波雷达融合数据进行调整，并重复步骤5.4、5.5、5.6；如果优化前后差异未超过阈值，则保留优化后图像融合数据、激光雷达融合数据、毫米波雷达融合数据，并构建决策层融合模块输出数据，得到最终的感知结果和路侧感知系统的输出信息。