[发明专利]一种基于车、路、无人机信息融合的超视距感知系统

权利要求书

1.一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，包括：

车端感知子系统、路端感知子系统、无人机感知子系统、通讯子系统和协同感知子系统，所述车端感知子系统、路端感知子系统、无人机感知子系统连接通讯子系统，通讯子系统连接协同感知子系统；其中：

车端感知子系统，用于获取车辆周边环境结构化特征信息并将其通过以太网传输至协同感知子系统；

路端感知子系统，用于获取路端周边环境结构化特征信息并将其通过通讯子系统传输至协同感知子系统；

无人机感知子系统，在两个路端之间进行长时间短距离飞行，并在飞行过程中实时进行环境感知，获取道路上方信息和路段盲区的结构化特征信息并将其通过通讯子系统传输至协同感知子系统；

协同感知子系统，所述协同感知子系统利用深度学习和粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边以及无人机视觉范围环境结构化特征信息进行融合，得到超视距融合感知。

2.根据权利要求1所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述车载子系统包括包括车端传感模块和车端数据处理模块；所述车载传感模块用于对车辆行驶周围环境相关信息进行检测并将检测后结果实时传输到车载数据处理模块,所述车载数据处理模块用于对采集到的行驶环境相关信息输入到预先训练的深度学习神经网络，利用车辆周边环境图像数据和车辆周边环境点云数据，得到车辆周边环境结构化特征信息，并将处理后的数据发送到协同感知子系统。

3.根据权利要求1所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述路端感知系统包括路端传感模块、路端数据处理模块、无人机充电模块；所述路端传感模块主要包括包括路端摄像头和路端激光雷达，路端传感模块的安装位置为路口红绿灯上，所述路端摄像头用于采集路端周边环境图像数据并将其传输至路端数据处理模块，所述路端激光雷达用于采集路端周边环境点云数据并将其传输至路端数据处理模块；无人机充电模块对无人机电量进行实时检测，并有自动回收装置，当电量小于预定工作电量时，对无人机感知子系统发出指令进行回收并充电。

4.根据权利要求3所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述路端数据处理模块将路端摄像头和路端激光雷达检测到的目标物位置信息和速度信息转换到同一坐标系中，并对转换后的信息进行预处理，运用深度学习和粒子滤波算法进行信息融合，对动态目标进行实时识别和跟踪并对车辆进行定位，并将处理后的数据发送到协同感知子系统。

5.根据权利要求1所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述无人机感知子系统包括无人机视觉模块、无人机数据处理模块自动充电模块；无人机视觉模块包括摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达、微波雷达和UWB定位设备，所述摄像头用于采集和识别道路上目标物,对道路上的行人、车辆、障碍物、交通灯、交通标识等目标进行识别，获取目标的种类、形状、位置等信息；所述星光级图像传感器、红外传感器增强暗光下的感知能力，所述超声波雷达、小型毫米波雷达、微波雷达用于采集目标物的位置与速度信息并提升雨雾雪或灰尘存在下的场景感知能力；所述UWB定位设备用于辅助定位目标物的位置,所述摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达、微波雷达和UWB定位设备采集的数据均发送至所述视觉数据处理模块，自动充电模块实现无人机与路侧装置联系，满足自动回收功能和自主回归充电功能。

6.根据权利要求5所述的一种基于车、路、无人机信息融合的超视距感知系统，其特征在于，所述无人机数据处理模块运用深度学习对接收的多源异构信息进行融合,将车辆周围环境信息与远端道路信息进行匹配，使得车辆在实现对周围环境的精细感知的同时，对视野外目标进行感知，获得当前道路交通状况，并将处理后的数据发送到协同感知子系统。