[发明专利]基于改进ResNet网络的传送带实时判空检测方法与系统

权利要求书

1.基于改进ResNet网络的传送带实时判空检测方法，其特征在于，该改进ResNet网络是对原来ResNet网络进行两部分改进，第一部分是对原来ResNet网络的残差模块进行改进：将原来的3×3卷积层改为利用3×3、5×5、7×7卷积层来构建并联特征提取，通过并联卷积操作提取不同特征进行差值操作，从而提取出图像轮廓边缘的特征信息，最后将并联提取的两个差值特征进行融合操作，获取局部最优的特征信息；第二部分是在残差模块后加入改进的SE注意力机制，对SE注意力机制的改进是将Excitation操作中的通道系数调整改为利用通道标准化激活，从而避免了在通道调整的过程中造成参数丢失，通过将改进的SE注意力机制提取得到的特征进行信息聚合，从而有效地对经过残差模块提取的特征做注意力增强，使网络从全局信息的角度对各个阶段提取的特征图进行权值优化；

该传送带实时判空检测方法的具体实施包括以下步骤：

1)传送带作业之前，先平行放置半圆量角器在传送带的拍摄区域上，摄像头通过监控画面拍摄标定的半圆量角器照片，通过拍摄的照片计算标定物在水平方向上所占单位像素点的数量，按照比例计算摄像头与传送带的距离，即摄像头拍摄的像素焦距；

2)确定摄像头的像素焦距后，通过摄像头采集传送带启动和工作过程中的图像，自定义构建传送带数据集，数据集包括空传送带图像、砂子图像和矿石图像，针对砂子图像和矿石图像做数据增强以扩充数据集，将增强后的砂子图像、矿石图像以及空传送带图像按设定的比例划分为训练集、验证集和测试集；

3)将训练集分批送入改进ResNet网络进行训练，训练集中的图像经过网络特征提取后，通过Softmax函数得到识别图像分类的概率值，将二元交叉熵损失与人工采集标注的真实值计算损失值，最后基于网络计算的损失值进行权重更新，根据训练过程中迭代的次数进行优化器调整网络参数，更新学习率，且每当特定次数的网络训练后用验证集对网络的训练效果进行验证，迭代进行至验证集的总损失达到最小的状态，最终得到经训练和验证后的最优网络；

4)将测试集送入步骤3)得到的最优网络中，即可得到网络预测传送带判空的多分类模型，并设定相应的分类值，将空传送带的分类值设置为0，传送带上存在砂子的分类值设置为1，存在矿石的分类值设置为2，记录测试过程中的Top1测试值，通过最高的测试值得到最优准确值的评价指标。

2.根据权利要求1所述的基于改进ResNet网络的传送带实时判空检测方法，其特征在于，在步骤1)中，安装CCD工业摄像头在传送带上方，摄像头电源与继电器接通，继电器与中控系统通过接入同一个IP网段进行Socket交互通信，传送带作业之前，打开继电器电源，启动摄像头，平行放置半圆量角器在传送带的拍摄区域上，待摄像头与标定物对焦后，拍摄标定物的图片，根据采集的标定物图片计算焦距比例做像素标定：首先，将图像从RGB色彩空间变换至HSV色彩空间，然后对图像做自适应中值滤波处理，在频域内对标定物的亮度分量进行增强，并保持色调与饱和度的不变，增强标定物前景的同时，削弱传送带的背景低频分量，实现对标定物连通区域的像素点进行统计，将标定物图片的实际标尺信息换算成像素尺寸大小，根据标定物计算在水平方向上所占像素点的数量，按照比例计算摄像头与传送带的距离，建立参照物的像素尺寸大小与实际测量尺寸的对应关系，根据单位长度上像素的个数，将标定比例系数f定义为：

式中，S_px表示标定图像像素尺寸，S_l表示参照物实际尺寸；其中，计算得到的比例系数f即为传送带上的像素焦距。