[发明专利]一种矿区落石监测装置及方法

权利要求书

1.一种矿区落石监测装置，包括车载终端(1)，其特征在于，所述车载终端(1)包括存储硬盘(2)，所述存储硬盘(2)分别与边缘计算模块(3)、4G通信模块(4)、GPS定位模块(5)以及触摸显示屏(6)双向信号连接；所述车载终端(1)的数据输入端与设置在矿车前端的前置摄像头(7)的数据输出端相连接。

2.根据权利要求1所述的一种矿区落石监测装置，其特征在于，所述边缘计算模块(3)内部设有用于监测矿区落石并预测其运动轨迹的算法，该算法具体如下：

将采集的数据图像尺寸缩放至416*416mm，并将其划分成N*N个网格，每个网格负责预测D个边界框，每个边界框需要回归自身的位置以及预测其置信度Confidence，计算公式如式(1)所示：

其中，当一个网格中监测到有落石落入时，Pr(o)取1，反之取0；表示落石实际的边界框与预测的边界框两者之间的交集与并集的比值，计算出n*n*(D*5+M)个张量值，以表示落石的位置和类别的预测，其中5代表每个边界框给出的X,Y,W,H和Confidence这5个参数的预测值，其中(X,Y)为落石的中心位置坐标，(W,H)为落石实际边界框的宽和高，D表示所用数据集中含有D个类别数量，将每个网格得到的某个类别预测的信息与边界框预测的置信度相乘，得到每个边界框预测落石属于某一类别的概率以及置信度信息，如下式所示，最后，使用非最大抑制方法来去除冗余的候选边界框，如式(2)所示：

其中，Pr表示概率，classl表示预测的物体类别，Object代表物体标签的类别，IoU表示为预测和真实值的交集比并集，计算每个框的特定类别的分数：该类别出现在这个框内的概率，以及这个框和目标的匹配程度；

引入残差网络的思想并结合FPN网络结构，构建2个Darnet-53网络，其包含108个卷积层通过连续使用1×1和3×3的卷积层来提取图像特征，采用批量归一化操作和去除dropout操作防止出现过拟合，采用如式(3)所示的损失函数来优化整个网络模型：

Loss(obj)＝GIOUloss+∑[C_ilog(C_i)+(1-C_i)log(1-C_i)] (3)

其中，Loss代表损失函数，GIOUloss计算方式为，假如有两个任意性质A，B，找到一个最小的封闭形状C，让C可以把A，B包含在内，然后计算C中没有覆盖A和B的面积占C总面积的比值，然后用A与B的IoU减去这个比值，C是指能包含预测边框和真实边框的最小边框大小。

3.采用权利要求1至2所述任意一种矿区落石监测装置的矿区落石监测方法，其特征在于，包括以下步骤：

步骤一：利用前端摄像头(7)采集矿区落石的图像数据；

步骤二：将采集的数据传输至车载终端(1)中的边缘计算模块(3)；

步骤三：边缘计算模块(3)对图像数据进行缩放，并将图像数据划分为网格；

步骤四：当前置摄像头(7)监测到落石进入图像的网格区域时，边缘计算模块(3)启动算法，对落入网格内的落石进行计算并预测落石运动轨迹；

步骤五：边缘计算模块(3)将预测的落石运动轨迹数据传输至触摸显示屏(6)进行显示。

4.根据权利要求3所述的一种矿区落石监测方法，其特征在于，所述步骤四中的边缘计算模块(3)的算法具体如下：

将采集的数据图像尺寸缩放至416*416mm，并将其划分成N*N个网格，每个网格负责预测D个边界框，每个边界框需要回归自身的位置以及预测其置信度Confidence，计算公式如式(1)所示：

其中，当一个网格中监测到有落石落入时，Pr(o)取1，反之取0；表示落石实际的边界框与预测的边界框两者之间的交集与并集的比值，计算出n*n*(D*5+M)个张量值，以表示落石的位置和类别的预测，其中5代表每个边界框给出的X,Y,W,H和Confidence这5个参数的预测值，其中(X,Y)为落石的中心位置坐标，(W,H)为落石实际边界框的宽和高，D表示所用数据集中含有D个类别数量，将每个网格得到的某个类别预测的信息与边界框预测的置信度相乘，得到每个边界框预测落石属于某一类别的概率以及置信度信息，如下式所示，最后，使用非最大抑制方法来去除冗余的候选边界框，如式(2)所示：

其中，Pr表示概率，classl表示预测的物体类别，Object代表物体标签的类别，IoU表示为预测和真实值的交集比并集，计算每个框的特定类别的分数：该类别出现在这个框内的概率，以及这个框和目标的匹配程度；

引入残差网络的思想并结合FPN网络结构，构建2个Darnet-53网络，其包含108个卷积层通过连续使用1×1和3×3的卷积层来提取图像特征，采用批量归一化操作和去除dropout操作防止出现过拟合，采用如式(3)所示的损失函数来优化整个网络模型：

Loss(obj)＝GIOUloss+∑[C_ilog(C_i)+(1-C_i)log(1-C_i)]     (3)

其中，Loss代表损失函数，GIOUloss计算方式为，假如有两个任意性质A，B，找到一个最小的封闭形状C，让C可以把A，B包含在内，然后计算C中没有覆盖A和B的面积占C总面积的比值，然后用A与B的IoU减去这个比值，C是指能包含预测边框和真实边框的最小边框大小。