[发明专利]井下有轨车辅助驾驶的行人与障碍物检测方法

权利要求书

1.一种井下有轨车辅助驾驶的行人与障碍物检测方法，其特征在于，包括以下步骤：

S1：对相机和激光雷达这两种类型传感器进行联合标定，使得所述相机采集的视频和所述激光雷达采集的三维点云数据在空间和时间上同步，完成同步后进入步骤S2；

所述联合标定的具体过程如下：

SS1：对相机和激光雷达的硬件配置文件进行修改，将相机和激光雷达数据采集频率设置为相同实现时间同步；

SS2：在有轨车上固定相机和激光雷达传感器，采用张正友标定法标定相机内部参数；利用线与平面的对应关系求解相机与激光雷达的联合外部参数，实现相机和激光雷达的空间同步；

S2：采集运行环境中的视频数据和激光雷达点云数据，分别对所述视频数据与所述激光雷达点云数据进行预处理，完成预处理后进入步骤S3；

S3：通过Labelme对采集的视频数据中行人与障碍物目标进行标注并保存相应的文件，基于采集的视频数据及相应的标注，训练基于Yolo V5的行人与障碍物目标检测模型，模型训练完成后，获取目标类别以及所有目标在图像中的坐标信息，利用投影变换公式获取所有目标的激光雷达点云数据，将所有目标图像信息与点云数据建立一一对应的关系后分别进入步骤S4和步骤S5；

所述目标图像坐标信息为：U_Min、U_Max、V_Min、V_Max，则其中U_Min、U_Max分别为该目标在图像坐标U方向上的最小值和最大值，V_Min、V_Max分别为该目标在图像坐标V方向上的最小值和最大值；

S4：将标注好的视频数据中的同一目标图像进行裁剪，只保留含有目标标定框部分的图像，并将每个目标图像按照不同种类分别放在不同文件夹中；进一步的，基于裁剪后的目标图像，训练基于DeepSORT特定目标的特征提取网络，通过Yolo V5-DeepSORT采用多线程操作实现不同类别多目标跟踪算法；进一步的，利用Yolo V5-DeepSORT对不同目标分别进行检测与跟踪，按照输入视频的时间序列图像，将在前后帧中属于同一目标的分配相同的ID号后进入S8；

S5：根据所述目标图像坐标信息U_Min、U_Max、V_Min、V_Max，进行目标点云的粗分割，粗分割后的点云实质上缩小了目标点云检测范围，粗分割后的目标点云区域为3D锥体点云，完成后进入步骤S6；

S6：计算所述3D锥体点云中每个点云与所述激光雷达传感器的距离，将获得的距离数据划分为N个区间，并统计每个区间内点云个数，点云个数最多的区间为目标点云，从而实现点云的精细分割；

S7：利用K-means聚类算法对步骤S6中精细分割的点云实现聚类，点云数量较多的类别为目标点云，并计算每个所述目标点云与激光雷达传感器之间的距离，然后对所有距离取平均值，该平均值则为目标点云与雷达之间的距离；

S8：基于步骤S4中的在前后帧中属于同一目标的被分配了相同的ID号以及步骤S7中的平均值，在相邻两帧中对具有相同ID的目标分别进行距离测量，并结合前后两帧数据采集的时间差，完成对目标速度的测量。