[发明专利]一种基于深度学习的路侧视角超视距全域融合感知系统

说明书

本发明涉及一种基于深度学习的路侧视角超视距全域融合感知系统，对路侧布置的摄像头、激光雷达、毫米波雷达异构数据采集和进行数据层融合，并利用深度学习分别处理融合后的图像和激光雷达点云数据，最终利用决策层融合实现融合感知。通过在路侧布置感知系统，并结合图像、激光雷达点云、毫米波雷达点云数据各自的优势，可以提升感知视距，并在多个层面对监控区域进行场景理解，最终为网联自动驾驶车辆提供充足可靠的感知信息。

技术领域

本发明涉及一种智能交通基础设施系统，特别涉及一种基于深度学习的路侧视角超视距全域融合感知系统。

背景技术

智能交通基础设施的发展是实现车辆网联自动驾驶功能的关键，路侧感知系统作为车路协同感知系统中路侧感知信息的获取来源，其稳定性和可靠性将直接影响网联自动驾驶功能的实现和安全性。在智能交通技术和自动驾驶技术蓬勃发展的今日，路侧感知系统的稳定性和可靠性仍是急需解决的关键点。

自动驾驶系统通常包括感知、决策、控制三个模块，其中感知是整个自动驾驶系统与周围环境交互的接口，其准确性直接影响自动驾驶功能的可实现性。现有感知方法主要集中在基于车载传感器实现，但是车载传感器受其安装位置限制，交通拥堵路况复杂时感知视角易受遮挡、视距较短，同时车载传感器价格较高。基于车载传感器的感知方法，从使用数据上看可以分为基于单一类型传感器数据和基于多传感器数据融合两种，其中基于多传感器融合的方法提升了感知算法可利用的数据维度，同时兼顾不同传感器各自的工作特点和数据优势。多传感器数据融合从一定程度上扩大了感知视距和优化了感知视角，但基于车载传感器的感知方法在视野、视角、价格等方面的局限性由于传感器布置位置首先无法完全克服，道路拥堵工况时常发生。

近年来5G通信技术飞速发展，促进智能交通技术不断完善，同时使网联自动驾驶技术成为实现L5级完全自动驾驶功能的最佳方案之一。其中，路侧感知模块在传感器视野、视距方面具有巨大优势，受交通拥堵影响较小，可以为网联自动驾驶车辆提供充足可靠的感知信息。

发明内容

为了解决目前路侧感知技术存在的问题，本发明提供一种基于深度学习的路侧视角超视距全域融合感知系统，包括以下步骤：

步骤1、在路侧布置传感器模组，包括摄像头、激光雷达、毫米波雷达；

步骤2、采集传感器数据，包括摄像头的图像数据、激光雷达的点云数据、毫米波雷达的点云数据并进行预处理，包括时间同步、噪声滤波、数据解析、数据拼接；

步骤3、将预处理后的传感器数据输入到数据层融合模块进行数据层融合处理；

步骤4、将数据层融合处理后的图像数据输入到图像语义分割模块，通过预先构建好的深度学习语义分割模型进行语义理解；将数据层融合处理后的激光雷达点云数据输入到激光雷达点云分割模块，通过预先构建好的点云级别的深度学习分割模型进行点云分割；

步骤5、将图像语义分割结果和激光雷达点云分割结果输入到决策层融合模块进行处理，得到最终的感知结果和路侧感知系统的输出信息。

进一步的，步骤1中，摄像头、激光雷达、毫米波雷达布置在交叉路口或存在视野盲区的区域，摄像头布置时应使摄像头的采集范围覆盖整个待识别路段，激光雷达布置时应尽量使更多点云落在待识别路段上，毫米波雷达应覆盖每条单行车道的较远区域。

进一步的，步骤3中，数据层融合模块对传感器数据的处理步骤如下：

步骤3.1、以图像为基准，限制有效的识别范围；

步骤3.2、将激光雷达点云数据投影到图像的成像平面上，对有效识别范围之外的激光雷达点云进行去除；

步骤3.3、将毫米波雷达点云数据投影到图像的成像平面上，对有效识别范围之外的毫米波雷达点云进行去除；