[发明专利]一种面向车路协同的通信感知及边缘计算一体化系统

权利要求书

1.一种面向车路协同的通信感知及边缘计算一体化系统，其特征在于，包括：感知及边缘计算单元、路侧通信单元、智能车载终端以及云平台，其中：

感知及边缘计算单元由毫米波雷达、摄像头和边缘计算模块组成，其中毫米波雷达和摄像头获取路侧交通目标数据；边缘计算模块通过有线方式接收到采集的各类交通目标信息，对强、弱交通参与对象的实时检测、识别与分类，获取路侧范围内的交通目标类型和该目标与主驾驶车辆的相对距离信息；

路侧通信单元由控制模块、通信模块和定位模块组成，其中通信模块包括两类：LTE通信模块与PC5通信模块，分别支持基于V2X的蜂窝通信模式与直连通信模式，与路侧范围内的智能车载终端实现通信互联；路侧通信单元与感知及边缘计算单元中的边缘计算模块通过WiFi通信方式连接，并由控制模块控制通信模块将边缘计算模块所处理得到的数据以MQTT或PC5方式下发到智能车载终端，在不同的应用场景下实现通信模式的切换，同时智能车载终端向路侧通信单元发送车辆基本行驶信息；路侧通信单元通过通信模块将边缘计算模块所处理得到的数据与车辆基本行驶信息以HTTP协议上传到云平台；路侧通信单元通过定位模块确定其经纬度信息，通过将经纬度信息上传到云平台和下发到智能车载终端，从而完成在路侧通信单元在云端地图的信息打印，并实现与智能车载终端位置信息的交换；

智能车载终端获取附近交通目标的类别、距离信息，结合自身交通状态判断是否需要进行刹车避险或者继续行驶操作；

云平台收集路侧单元上传的路况信息进行分析处理，将已接入驾驶车辆与交通目标信息打印至云端地图，通过流量、车速、位置进行综合判断，实现宏观交通调控。

2.根据权利要求1所述的面向车路协同的通信感知及边缘计算一体化系统，其特征在于，所述感知及边缘计算单元中，摄像头通过USB接口连接边缘计算模块，毫米波雷达通过CAN总线连接总线分析仪，CAN总线分析仪通过CAN总线转USB接口连接边缘计算模块，毫米波雷达和摄像头分别获取交通目标数据，并由USB接口实时传输数据到边缘计算模块。

3.根据权利要求1所述的面向车路协同的通信感知及边缘计算一体化系统，其特征在于，所述边缘计算模块基于Jetson Xavier NX套件开发，将毫米波雷达获取的点云数据和摄像头获取的图像数据通过雷视融合目标检测方法进行数据融合，完成交通目标的实时检测，具体方法为：

所述雷视融合目标检测方法包括雷达数据预处理、雷视数据时空对齐、雷视数据融合、融合模型检测步骤，其中雷达数据预处理与雷视数据时空对齐属于前融合部分，负责处理雷达异常数据，并实现毫米波雷达与视觉数据时空坐标系的统一；雷视数据融合与融合模型检测属于后融合部分，负责将包含有效特征的雷达数据在图像垂直平面上进行投影，从而生成包含雷达特征信息的增强图像，最终送入融合模型进行目标检测与识别，雷视融合具体流程为：

第一步，剔除毫米波雷达产生的异常数据：对毫米波雷达采集的原始数据进行预处理，对空目标、静止目标、假目标进行剔除，以避免影响融合目标检测的准确率；

第二步，使摄像头与雷达保持视角的一致：完成摄像头与毫米波雷达的空间坐标系融合，将毫米波雷达数据在视觉数据所在的像素坐标系进行映射，映射顺序分别为毫米波雷达坐标系、三维世界坐标系、摄像头坐标系、图像坐标系以及像素坐标系，按照以上顺序依次进行从毫米波雷达坐标系到二维像素坐标系的转换，使得雷达与图像数据能够实现空间上的一致；

第三步，保证系统的实时性：完成摄像头与毫米波雷达的时间同步，即根据采样频率对两个传感器进行时间帧率的联合标定，计算两者两次采样之间的时间间隔的公倍数，在时间上保证同步；

第四步，完成两种传感器数据的深层次融合：对毫米波雷达和视觉数据进行融合，即将包含有效特征的雷达数据在图像垂直平面上投影，从而将具有RGB三维通道的图像数据进行维度扩展，增加一维雷达数据通道，生成了包含雷达特征信息的增强图像，作为融合目标检测模型的输入，选取的雷达特征信息分别是毫米波雷达散射截面积RCS与距离信息；

第五步，应用摄像头和毫米波雷达的融合数据进行目标识别：融合检测模型基于RetinaNet建立，其主干网络包括毫米波雷达数据通路和融合网络输出数据通路，由7个最大池化层和5个VGG块连接而成，将融合检测模型的输入记作C0，即通过一次毫米波雷达与视觉数据融合生成的初始增强图像，5个最大池化层和5个VGG块组成前5层，在每一层内，毫米波雷达数据通过最大池化层以相应比例对数据进行处理，处理完毕后与上一层输出的融合数据合并到由VGG块构成的融合网络数据通路上进行融合，在本层融合结束后，毫米波雷达数据继续沿通路进入下一层次的最大池化层改变尺寸，再与上一层输出的融合数据合并到由VGG块构成的融合网络数据通路上进行融合，毫米波雷达数据与C0分别通过了5个最大池化层和VGG块，即执行了5次融合操作，输出的融合数据记作C1、C2、C3、C4与C5；剩下2个最大池化层组成后2层，毫米波雷达依次再通过两个最大池化层，此时融合数据不再与之合并，输出的毫米波雷达数据分别为C6、C7；

在融合检测模型的深层次网络引入特征金字塔，分别记作P3、P4、P5、P6与P7，将C3、C4、C5、C6、C7依次送入特征金字塔P3、P4、P5、P6、P7，并在特征金字塔的每个层次对相应的毫米波雷达数据进行合并操作，生成特征输出分别记为X3、X4、X5、X6与X7；

目标分类子网络与边界框回归子网络处理特征金字塔的输出X3、X4、X5、X6与X7，最终生成相应的分类和回归结果。