[发明专利]基于图像处理的矿山障碍物识别方法、系统及设备

权利要求书

1.一种基于图像处理的矿山障碍物识别方法，步骤如下：

步骤一：对包含障碍物的历史图像进行标注生成训练集，将训练集输入到深度学习模型中生成识别模型；

步骤二：将包含障碍物的实时图像输入到识别模型中，得到障碍物信息，并通过障碍物信息生成障碍物特征；

步骤三：对同一障碍物不同时刻的障碍物特征进行比对，获取障碍物的实时位置并生成该障碍物的运行轨迹；

所述障碍物包括路面坑洼、路边护栏、积水、石头、卸货护栏、卸货仓、通讯立杆、反光地面、石碓、挖掘机、土堆、行人以及矿车；

步骤二中，所述障碍物信息包括障碍物实时图像、障碍物边界框、障碍物类别、障碍物类别得分、车辆与障碍物的距离、车辆与障碍物之间的朝向角、障碍物关键点矩阵、障碍物所在帧号；

步骤二中，将实时图像输入到识别模型中并生成障碍物特征时，所述识别模型将实时图像中的包含障碍物的区域进行框取，得到包含障碍物的二维区域，通过单视图度量衡定理将二维区域转换为三维区域，提取三维区域中的感兴趣区域，并生成感兴趣区域的特征描述子，所述障碍物特征即为所述特征描述子；

障碍物特征融合了Akaze强角点特征、颜色直方图特征和边缘方向直方图特征；其中，Akaze强角点特征利用Akaze算法计算得到，Akaze算法利用了非线性扩散滤波的优势，获取低计算要求的特征，引入快速显示扩散数学框架FED来快速求解偏微分方程；

步骤三中，对同一障碍物不同时刻的障碍物特征进行比对时，将两个实时图像的边缘对齐，上一帧实时图像中障碍物的中心点为A，在当前帧实时图像中与A点对应的点为A1，则在A1点周围进行局部搜索：

如果在阈值距离内存在与该障碍物匹配的目标，则将该目标中心点加入到轨迹中，并进行轨迹更新；

如果在阈值距离内不存在与该障碍物匹配的目标，则利用最小二乘法进行轨迹预测，生成预测轨迹，如果阈值时间内与该障碍物匹配的目标出现在预测轨迹上，则将该目标的中心点加入到轨迹中，并进行轨迹更新；若在阈值时间内该预测轨迹上未能出现与该障碍物匹配的目标，则认为该轨迹结束，在轨迹的末尾生成轨迹结束标记；

在当前帧实时图像的A1点周围进行局部搜索时，如果当前帧实时图像中存在一个目标，且该目标的特征描述子与上一帧实时图像中障碍物的特征描述子相同，则认为所述目标与所述障碍物匹配。

2.根据权利要求1所述的基于图像处理的矿山障碍物识别方法，其特征在于：步骤二中，将实时图像输入到识别模型前，采用Yolact模型对多个障碍物进行分割，将实时图像输入到识别模型后，所述识别模型分别输出多个障碍物的障碍物信息。

3.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1-2中任一项所述障碍物识别方法的步骤。