[发明专利]一种面向矿井煤流AI视频分析的异物识别系统及方法

权利要求书

1.一种面向矿井煤流AI视频分析的异物识别系统，其特征在于，包括数据收集模块、黑夜检测模块和YOLOv4模块，其中：

数据收集模块，采用工业相机对履带上的煤流进行实时的视频监控，然后通过光纤设备将工业相机采集的视频传输到超高性能的计算机平台上；

黑夜检测模块，采用改进的U-net网络结构作为黑夜检测模型，所述U-net网络结构由解码器和编码器构成，用于对底片进行预测得到RGB图片，所述编码器通过卷积层和池化层进行特征提取；

YOLOv4模块，用于对RGB图片进行预测从而得到目标的位置和类别，使用CSPDarknet53作为该模块整体网络模型的主干网络进行特征提取；并在Neck网络部分加入SPP模块和FPN+PAN模块用于融合不同尺度的特征图和提升特征提取能力。

2.根据权利要求1所述的一种面向矿井煤流AI视频分析的异物识别系统，其特征在于，在所述黑夜检测模块中，通过将收集的正常光数据集利用知识提取的方法输出其潜在特征训练生成IT—layer模型，将所述IT—layer模型加入到黑夜检测模型，后使ND数据集输入到黑夜检测模型中并经过其中的IT—layer模型得到伪造RGB数据集；

在训练生成IT—layer模型时，首先收集在井下拍摄的光线不足情况下的锚杆和大块数据集称为ND数据集，收集大量井下在光线充足的情况下的锚杆和大块数据集称为正常光数据集；将所述正常光数据集作为一个真实RGB数据集，将ND数据集经过黑夜检测模型的编解码结构处理之后的数据集作为伪造RGB数据集，利用所述真实RGB数据集和伪造RGB数据集训练生成IT—layer模型，并利用伪造RGB数据集与真实RGB数据集形成的损失函数L1不断优化生成的IT—layer模型；将真实RGB数据集通过IT—layer模型后生成伪造真实数据集FTR，将所述伪造真实数据集传入黑夜检测模型中，与ND数据集经过黑夜检测模型中的编码器E1得到的FeR数据集形成的损失函数L2对黑夜检测模型进行优化，得到更精确的伪造RGB数据集。

3.根据权利要求2所述的一种面向矿井煤流AI视频分析的异物识别系统，其特征在于，所述损失函数L1为：

L1＝||TR-FR||₁

其中TR为真实RGB数据集；FR为伪造RGB数据集；

所述损失函数L2为：

其中E1为黑夜检测模型中的编码器；生成的IT—layer模型是编码器的映射函数记为E2。

4.根据权利要求2所述的一种面向矿井煤流AI视频分析的异物识别系统，其特征在于，所述主干网络CSPDarknet53包含CBM模块和5个CSP模块，所述CBM模块是由Conv、BN以及Mish激活函数组成的；CSP模块是将输入层的特征映射划分为两个部分，然后将该两个部分合并起来；图片在经过CSP模块后将生成一个76*76的特征映射，经过下采样后生成38*38的特征映射，在经过一次下采样后，生成19*19的特征映射。

5.根据权利要求4所述的一种面向矿井煤流AI视频分析的异物识别系统，其特征在于，在所述主干网络CSPDarknet53中加入dropblock模块用于提高YOLOv4模型的泛化能力。