[发明专利]一种基于视觉与激光雷达融合的前向列车检测方法

权利要求书

1.一种基于视觉与激光雷达融合的前向列车检测方法，其特征在于，在列车车头前挡风玻璃处安装相机和激光雷达，所述检测方法包括以下步骤：

S1：获取同步数据；

列车运行时实时采集图像与激光雷达数据，从获取的图像和激光雷达数据的时间戳中选取相机和激光雷达时间戳最近的两帧数据作为同步数据；

S2：在图像中通过深度学习融合算法对图像进行列车识别，确定图像中是否存在列车，图像中存在列车则输出列车检测框并进行步骤S3，图像中不存在列车则进行下一帧检测；

S3：对激光雷达与相机进行内外参标定，将激光雷达数据映射至图像中，获取融合数据；

S4：在融合数据中判断激光雷达点是否映射至图像检测的列车框中，提取列车框内的激光雷达点；具体步骤如下：对映射至图像中的激光雷达点逐点判断，判断每个点是否在图像检测的列车矩形框内，若在矩形框内则记录激光雷达点的索引，并在图像中将列车框内的激光雷达点标记为白色；

S5：对列车框内激光雷达点自适应聚类，获取前向列车距离；

S5-1：将列车框内的激光雷达点与本车的距离进行排序；

S5-2：设置一个聚类簇，将第一个激光雷达点放置于聚类簇中，依次计算剩下所有激光雷达点与第一个点的距离，若小于设定的阈值，则将该激光雷达点放置于第一个聚类簇中，并更新该聚类簇中激光雷达点的个数，同时将被放置的激光雷达点与本车的距离设置为0，避免后续的重复计算；

S5-3：若激光雷达点与聚类簇中放置的激光雷达点的距离大于设定的阈值，则设置一个新的聚类簇，并重复步骤S5-2直到列车框内所有的激光雷达点均被分配到一个聚类簇中；

S5-4：选取含有激光雷达点个数最多的聚类簇为列车的真实激光雷达点，计算聚类簇中激光雷达点的距离平均值，此平均值即为列车的真实距离。

2.根据权利要求1所述的一种基于视觉与激光雷达融合的前向列车检测方法，其特征在于，所述步骤S2包括图像目标检测与图像分类，具体地：

S2-1：采集列车运行线路中的视频数据，并从中截取包含有列车的图片，基于截取的图片进行标注；图像检测模型标注需要标注出图像中列车框的像素大小以及像素位置；图像分类模型标注需要在图像中随机抠取矩形框，其中部分框包含列车，部分框不包含列车，基于抠取的矩形框进一步分为包含列车的样本和不包含列车的样本；

S2-2：选取图像目标检测模型为centernet，选取图像分类模型为mobilenetV2；

S2-3：基于步骤S2-1标注的样本对步骤S2-2选取的模型进行训练，生成模型文件；

S2-4：基于步骤S2-3生成的模型进行列车检测及分类，输出列车检测框。