[发明专利]行人防撞预警方法、设备、存储介质及堆高机

权利要求书

1.一种行人防撞预警方法，其特征在于，包括：

获取环视摄像头采集的视频数据；

对所述视频数据进行解码，将解码后的数据置入图像数据队列；

基于预先训练的行人目标检测模型对所述图像数据队列中最新图像帧进行检测，得到检测结果；且判断从图像数据队列中获取的图像是否为第一帧图像；若所述图像不是第一帧图像，则根据上一帧图像中的跟踪结果且运用卡尔曼滤波器进行目标预测，得到当前帧图像的预测结果；

将所述预测结果与相应的检测结果进行匹配，得到匹配结果；

根据所述匹配结果判断是否进行预警。

2.根据权利要求1所述的行人防撞预警方法，其特征在于，所述基于预先训练的行人目标检测模型对所述图像数据队列中最新图像帧进行检测，得到检测结果，包括：

获取所述图像数据队列中的最新图像帧；

基于预先训练的目标检测模型对所述最新图像帧进行检测，得到所述最新图像帧中的检测框；

从得到的所述检测框中筛选出高度大于最小高度阈值且置信度大于最小置信度阈值的检测框；

利用非极大值抑制方法对筛选出的检测框进行合并，得到检测结果。

3.根据权利要求2所述的行人防撞预警方法，其特征在于，在得到检测结果后，还包括：基于卷积神经网络提取所述检测结果中检测框对应的图像块的128维特征向量。

4.根据权利要求1所述的行人防撞预警方法，其特征在于，所述判断从图像数据队列中获取的图像是否为第一帧图像后，若所述图像是第一帧图像，则为第一帧图像的各检测框创建跟踪器，将创建的跟踪器设置为未确认状态。

5.根据权利要求1所述的行人防撞预警方法，其特征在于，将所述预测结果与相应的检测结果进行匹配，得到匹配结果，包括：

获取预测结果的多个跟踪器中的已确认状态跟踪器；

将所述已确认状态跟踪器与所述检测结果对应的检测框进行级联匹配，得到匹配对、未匹配跟踪器及未匹配检测框。

6.根据权利要求5所述的行人防撞预警方法，其特征在于，所述将所述已确认状态跟踪器与所述检测结果对应的检测框进行级联匹配，得到匹配对、未匹配跟踪器及未匹配检测框，包括：

确定当前帧每个新的检测结果的深度卷积特征与这一层中每个跟踪器已保存的特征集之间的最小余弦距离矩阵；

对每个跟踪器，确定其预测结果与检测结果之间的马氏距离，且在所述最小余弦距离矩阵中，将马氏距离大于相应阈值的跟踪器对应的余弦距离值置为无穷大，得到处理后的最小余弦距离矩阵；

将所述处理后的最小余弦距离矩阵作为匈牙利算法的输入，得到线性匹配结果；

将所述线性匹配结果中差异满足预设条件的匹配对去除，得到初次处理后的匹配对、未匹配跟踪器及未匹配检测框。

7.根据权利要求6所述的行人防撞预警方法，其特征在于，在得到初次处理后的匹配对、未匹配跟踪器及未匹配检测框之后，还包括：

根据所述未匹配跟踪器及未确认状态的跟踪器确定IOU跟踪器候选集；

确定所述IOU跟踪器候选集中的候选跟踪器与未匹配检测框之间的IOU距离，得到代价矩阵；

将所述代价矩阵中大于相应重置阈值的组合置为该重置阈值，得到处理后的代价矩阵；

基于匈牙利算法及处理后的代价矩阵进行匹配；

在得到的匹配结果中，将IOU小于相应删除阈值的组合删除，得到再次处理的匹配对、未匹配跟踪器及未匹配检测框。