[发明专利]基于多源信息融合的智能车辆可通行区域检测方法

权利要求书

1.一种基于多源信息融合的智能车辆可通行区域检测方法，其特征在于：包括：

S100，采集车载传感器检测到的车辆周围的障碍物目标信息，输出静态障碍物目标库，所述静态障碍物目标库为由激光雷达检测到的包括道路边界信息的二值化栅格化地图；

S200，接收S100采集到的车辆周围的障碍物目标信息，将由所述车载传感器检测到的障碍物目标信息进行时空同步，再将所有检测到的车辆周围的障碍物信息进行单帧目标融合，最后利用运动预测和多帧目标关联进行连续帧间的多目标跟踪，输出动态障碍物目标库，所述动态障碍物目标库包括障碍物目标的位置、尺寸、类别和跟踪ID以及运动速度及其方向，时空同步包括激光雷达-摄像机标定功能、毫米波雷达-摄像机标定功能、摄像机-车辆标定功能和数据时空同步；以及

S300，接收S100输出的静态障碍物目标库和S200输出的动态障碍物目标库，并根据静态障碍物目标库的信息更新动态障碍物目标库，形成实时的障碍物目标信息，生成可通行区域；

S200中的“将所有检测到的车辆周围的障碍物信息进行单帧目标融合”包括：

获取摄像机-车辆标定参数，将图像坐标系中的目标框转换为车辆坐标系的目标框；

根据毫米波雷达-摄像机标定参数和激光雷达-摄像机标定参数，将同一时间戳下的单帧图像的车载传感器检测到的车辆周围的障碍物目标信息进行空间同步后，依次转换到图像坐标系、车辆坐标系中；以及

以摄像机检测结果为基准，基于全局最邻近算法，匹配对应的毫米波雷达和激光雷达信息，获取同一障碍物目标信息，该信息包括障碍物目标的位置、距离、类别和速度；

S200中的“利用运动预测和多帧目标关联进行连续帧间的多目标跟踪”包括：

针对障碍物目标中的Car、Pedestrian、Rider，分别设计三个单独的长短时记忆网络进行运动预测，涉及目标的位置信息，尺寸信息；Car表示车，Pedestrian表示人，Rider表示骑行者，

根据类别c∈{Car，Pedestrian，Rider}，利用长短时记忆网络进行训练，前N帧为输入数据，第N+1帧为预测/输出数据，形成长短时记忆网络运动预测模型；

在确定好的三类障碍物目标中，根据不同的跟踪ID匹配图像目标框真值数据库DB2中同一障碍物目标在连续N+1帧的数据(x，y，w，h)_i-N+1～i+1，(x，y)为预测目标框的位置信息，(w，h)为预测目标框的尺寸信息，(x，y)为目标框的左上角在图像坐标系中的坐标点，w为目标框的宽，h为目标框的高，图像目标框真值数据库DB2用于在图像数据中的图像平面上标记二维目标框；

利用训练好的长短时记忆网络运动预测模型测试连续N帧中同一障碍物目标的运动数据(x，y，w，h)_i-N+1～i，预测下一帧障碍物目标的运动信息(x，y，w，h)_i+1；

将障碍物目标的位置和尺度信息以及融合后的障碍物目标对应的速度、类别、距离、朝向属性作为关联的属性，利用匈牙利算法对连续帧间的多目标进行关联匹配，赋予同一障碍物目标同一跟踪ID号，输出关联之后的动态障碍物目标库{x，y，w，h，c，id，v，o}；

其中，N为长短时记忆网络运动预测模型输入的帧数；i为帧号，id表示毫米波雷达目标框的ID号，v表示毫米波雷达目标相对毫米波雷达坐标系的原点的速度，c为障碍物目标的大类别和小类别，o为障碍物目标的朝向信息。

2.如权利要求1所述的基于多源信息融合的智能车辆可通行区域检测方法，其特征在于，S100具体包括：

采集并解析激光雷达输出的三维点云图像，生成二维俯视点云图；

根据所述二维俯视点云图，获得障碍物目标检测框和包括道路边界点信息的二值化栅格化地图；以及

结合YOLOv3_LiDAR目标检测模型生成的障碍物目标信息，更新所述二值化栅格化地图，所述YOLOv3_LiDAR目标检测模型根据点云目标框真值数据库DB1，对YOLOv3模型进行参数学习生成，点云目标框真值数据库DB1用于在由激光雷达数据生成的二维俯视点云图上标记二维目标框，所述YOLOv3模型通过采用深度学习目标检测YOLOv3框架预训练目标检测模型，针对不同的数据库，设计不同的目标学习类别，学习不同的模型参数，得到针对二维俯视点云图和单目图像的YOLOv3目标检测模型。